日本画家、秋野不矩の作品を展示する美術館として1997年に竣工した。設計は藤森照信（1946-）＋内田祥士 （1955-）（習作舎）。秋野はこの美術館のある旧天竜市の出身で、設計者に藤森を推薦したという。
二俣川近くの緑に囲まれた丘の上に立つ。外壁は着色モルタルに藁を混ぜ地山の泥水を塗った仕上げと杉板張で構成され、屋根は鉄平石が葺かれている。
内部は、1階に2つの展示室、2階に企画展示室を擁しているが、1階の展示室は長方形のギャラリー（第1展示室）を通って正方形の主展示室（第2展示室）に入る。来館者は入口で靴を脱ぎ、展示室ではスリッパも脱ぐ。展示室の壁、天井は漆喰、床はギャラリーには籐ゴザ、主展示室には白大理石が敷かれている。靴を脱ぐことから可能になった床仕上げによって、主展示室では天井からの採光が白い空間に均一に拡散し、床に座って鑑賞できる、類を見ない空間が実現している。ホールでは漆喰に藁を混ぜた壁面に、バーナーで焼かれた杉の木が黒い柱梁を構成し、その一角からテラスに出ることができる。内外とも素材性に富み、鑑賞者の身体に訴えかける建築である。
2018年に敷地内に茶室「望矩楼」がつくられ、2019-2020年には設備更新の工事が行われている。
