この建築の前身は、旧成羽町出身の洋画家である児島虎次郎の顕彰を目的として1953年に開設された成羽町美術館である。現在の建築は、安藤忠雄により設計され、高梁市指定史跡の成羽陣屋跡を新しい敷地として移転し、平成6年（1994年）に竣工したものである。児島虎次郎は大原美術館の創設に深くかかわっており、モネの庭の睡蓮が「静水の庭」に株分けされ、モネと児島とのエピソードを示している。
敷地の境界に陣屋跡の石垣を残し、この石垣と敷地の南の小高い山によって囲まれた空間に建築と人工池が配置されている。エントランスアプローチは、コンクリートの外壁によって視界が遮られているが、スロープを上って鋭角に折れると、突然、目の前に池と山が広がるような演出がされている。建築は、直交する壁体で構成された展示空間と鋭角に配置されたスロープが絡み合い、内部と外部が入り組んだ複雑な空間を構成している。このように、景観デザイン的にも建築的にも意匠性が高い。
設計は安藤忠雄によるものであるが、直方体の形態、コンクリート打ち放しの外壁、スチールサッシュによる大開口、スロープによる動線、水を用いた外構デザイン、屈折した長いアプローチなど、同氏の一連の公共美術館が示す特徴をよく示しており、作風の展開を見ることができる。
山間部の小さな町の町立美箭館として、先端的な美術展示のほかに、市民ギャラリーとして地域住民の美術活動の場となってきた。
また、当初より用途の一部が変更されたほかに大きな改変はないが、2010年代に外壁や設備の改修工事がおこなわれるなど、所有者によって良好に使われ続けている。
