県庁から高松駅に続く県庁前通り沿いに位置し、通りに面した3層、その背後に4層と7層の3つのヴォリュームで構成される。香川県文化会館は、教育、学術、文化の発展に寄与するため、博物館法に基づき文化活動の企画・運営を行う機関と展示施設を備え、社会教育、文化関係団体が入る総合会館とあわせて、香川県の文化センターとして整備された。建築当初は、1,2階と3階の一部に展示空間、3階に芸能ホールと4階の一部に和室や談話室、5〜7階に管理部門や図書室など、地階には収蔵庫と設備関係所室が置かれた。平成20（2008）年に耐震改修および内部改修工事が実施され、1階に漆芸作品を常設展示するホールと事務室を新設し、5〜7階に漆芸実習室が設けられた。設計者の大江宏は、この建物の設計に際しのちに自身の建築観の代名詞ともなる「混在併存」を掲げており、大江作品の中でも伝統と現代の融合に成功した作品として高く評価されている。大江は「1階から4階までのスペースは全て檜・杉・松などを主材とする木造作の建築構成をとり、（中略）建築的な"扱い"は厳密に木造作構成の手法で統一している」と述べており、「伝統的な素材とみなされていた木を近代建築の典型的な素材である鉄筋コンクリートと対等に扱った」作品とみられる。とりわけアプローチの空間と3階芸能ホールにその様子が見られると評価されているが、自動開閉扉の設置や展示室として外光を遮断する改修により、建築当初とは様相を異にしている。そのほか特筆すべきものに、建築の設計に合わせて設えられた1階展示室のシャンデリア、成形合板の椅子（天童木工製作）、瓦製灰皿（瓦職人の朝日奈亀三郎製作）、彫金行灯・大江行灯（桜製作所製作）、彫刻「おいでまあせ」（流政之製作）が挙げられる。県下の大江建築を代表する重要な作品として、評価に値する。
