化粧品メーカーが戦前から東京・銀座にギャラリーを開設していたが、1975年、本敷地に工場を建設し、その3年後、主に戦後に蓄積された美術コレクション、また戦前からの自社香水瓶や自社宣伝意匠、企業資料一般を収蔵・展示するため、本建物を1978年に竣工させた。設計は谷口吉生（1937-）、高宮真介（1939-）。その後美術館・博物館設計を国内外に展開した設計者にとって、原点と言える存在である。
正面入口から半円平面の階段を上ると、正面に芝生を望む。左側の正方形の展示室へスロープを上ると、展示室Iである。平面作品が掛かったコの字型の壁面に沿って進むと、円形の中庭を囲む下階に階段を降りる。左側に野外彫刻作品と芝生を望みつつ進むと、中庭を囲んでいたガラス壁は大きな円形の展示室Ⅱの外壁となり、入口側に走る新幹線線路に沿う。折り返して小さな階段を降りると、展示室Ⅲとなり、正方形の中庭をめぐって順路は元の入口につながる。収蔵庫の搬出入は正面左側の盛土の反対側に誘導され、一方、線路側には広々とした芝生を設け、通過する新幹線の車窓にも広々とした印象を提供している。
1988年には掛川駅に新幹線が停車し、1996年には線路反対側に市役所が建ったが、全体の風景は、建物の単純かつ強い造形、磁器タイル外装の渋みのある光沢、芝生などランドスケープの保全により維持されている。
2002年の改装では、企業資料が隣接の建物に移されたため、本建物は美術展示を専らとした。並行して、円形中庭を囲むガラス壁には遮光フィルムが貼られ、また方形の展示室Ⅲ（旧資料展示スペース）を囲む内壁は平面作品を掛ける間仕切り壁に変更され、中庭との間に耐震性能のあるコンクリート壁が追加された。
