Музыкальные традиции в Карелии складывались уже в первые годы советской власти, но, несмотря на это лишь 15 января 1939 года по постановлению Совета Народных Комиссаров Карельской АССР была образована Карело-Финская государственная филармония, которая первоначально располагалась на проспекте Карла Маркса 15. В ее состав входили: Симфонический оркестр, до того относившейся к радиокомитету, Государственный национальный ансамбль народной песни и пляски "Кантеле", Государственный хор (42 человека) и вокально-эстрадный коллектив. В 1940 году в составе филармонии числилось около 300 человек.
Первые шаги филармонии показали, что она стала центром музыкальной жизни республики, и сконцентрировала вокруг себя практически все музыкальные силы края. Первый свой официальный зимний сезон филармония открыла 5 и 6 октября 1939 года. Эти концерты были посвящены русской классической музыке. Стали регулярно проводиться симфонические концерты, в которых исполнялись произведения карельских авторов и лучшие произведения русской и зарубежной классики. В конце 1941 года филармония временно приостанавливает свою деятельность, исполнители были переданы в Музыкальную комедию, а ансамбль "Кантеле" эвакуирован в Беломорск.
В первые месяцы войны филармония организовала четыре концертные бригады, которые выступали на предприятиях, на мобилизационных пунктах, строительстве оборонительных укреплений. На этих концертах исполнялась музыка карельских композиторов и поэтов. Было проведено более 500 концертов. Постановлением №97 Совета Народных Комиссаров К-ФССР от 11 февраля 1944 года и Приказом №21 Управления по делам искусств при СНК К-ФССР от 18 февраля 1944 года деятельность Государственной филармонии КФССР была восстановлена с 1 февраля 1944 года. В состав филармонии на правах самостоятельных творческих единиц передали Государственный национальный ансамбль Карело-Финской песни и пляски "Кантеле" и Концертно-фронтовую бригаду Управления. В 1944 году филармония располагалась по адресу проспект Ленина, 20. В результате войны большинство исполнительских кадров оказались рассеянными, сохранился лишь ансамбль "Кантеле". В 1944 году организовывается концертно-эстрадное бюро, целью которого было показ художественно-музыкальных, театральных коллективов и исполнительских сил СССР.
После войны основной задачей филармонии остается музыкально-просветительская деятельность. Филармония начинает регулярно проводить открытые симфонические оркестры, приглашая известных дирижеров, певцов, инструменталистов. Концертная деятельность филармонии проходит не только в Петрозаводске, но и в республике. Концертным обслуживанием на период с 1944 года охвачено более 28 населенных пунктов. В концертах принимают участие концертные бригады Ленгосэстрады, бригады Ленинградской областной филармонии и других филармоний (Вологодской, Новгородской и др.)
В 1945 году филармония совместно с комитетом Культпросветучреждений при Совете Министров К-Ф ССР открыла Музыкальный лекторий, за этот период была проведена 21 лекция, в музыкальных иллюстрациях участвовали, как правило, бригады Ленинградской государственной филармонии. В этом же году, в августе, во Всесоюзном смотре исполнителей советской эстрады в Москве принимает участие вокальный женский квартет Карело-финской филармонии в составе заслуженной артистки К-ФССР Сиркки Рикка, Таисии Перхиной, Ирмы Хаатая и Майлис Туорила.
В 1951 году в Москве проходит Неделя карело-финской музыки и танца. В ней принимают участие Государственный ансамбль песни и танца "Кантеле", квартет и солисты республиканской филармонии, народные сказительницы. Молодые артисты филармонии с успехом выступают на концертах. Многие из карельских артистов и исполнителей были отмечены наградами: орденами и медалями разных степеней, а остальным были вручены почетные грамоты. Как самостоятельная, творческая, художественная организация филармония действует с 1953 года в ведении Управления по делам искусств КФССР, а с 1956 года в ведении Министерства Культуры КФССР.
В разное время в составе филармонии были камерные вокальные и инструментальные ансамбли, эстрадные коллективы, оперный и драматический ансамбли: Театр эстрадных миниатюр (руководитель Станислав Купецкий /с1984/), солистом двух эстрадных ансамблей (ВИА) - "Онежский меридиан" и "Рулла" - был заслуженный артист Карелии Евгений Флек. Гастролировал по стране коллектив "Русская удаль" под руководством Руслана Цуганова, в состав которого входили танцевальная группа и ансамбль русских народных инструментов, солистка - Сталина Цуганова; ансамбль лилипутов (руководители Виктория и Теодор Малиновские).
Уже в шестидесятые годы творческий состав Карельской филармонии заметно обновляется, появляются новые молодые и энергичные музыканты. Гастроли по республике и за ее пределами занимали большую часть концертной жизни филармонии. По предложению художественного руководителя филармонии композитора Абрама Исаевича Голланда в 1960 году создается оригинальный творческий коллектив, так называемое "Камерное трио", в состав которого входили Светлана Ременюк (фортепиано), а позднее Людмила Львина (фортепиано), Зинаида Козлова (художественное слово), Зинаида Петченко (сопрано). По существу это был миниатюрный музыкально-драматический театр. "Камерное трио" завоевало популярность не только в Карелии, но и за ее пределами.
С первых лет своей работы филармония установила творческие связи с Москвой и Санкт-Петербургом, и благодаря этому петрозаводская публика знакома с искусством прославленных музыкантов и актеров, чьи имена украшали и украшают столичные афиши.
В 2001 году Карельская государственная филармония стала лауреатом Всероссийского конкурса "Окно в Россию", проводимого газетой "Культура" (в номинации "Филармония года"). Наряду со званием лауреата конкурса, филармония была удостоена специальной премии имени Дмитрия Лихачева, учрежденной Конгрессом российской интеллигенции. В 2002 году Симфонический оркестр филармонии стал лауреатом Первого открытого радиофестиваля симфонических и камерных оркестров регионов Российской Федерации, проходившего на волнах радиостанции "Орфей" (номинация "За творческое прочтение сочинения").