駿河銀行の会長だった岡野喜一郎(1917-1995)が設立した財団法人芹沢・井上文学館により芹沢文学館として1970 年に建設された。2009年に沼津市に寄贈され現名称となっている。1階は沼津市我入道で生まれ育った小説家、芹沢光治良(1896-1993)の業績と人物を紹介する展示室、2階は市民ギャラリーとなっている。設計は菊竹清訓(1928-2011)。構造設計は松井源吾+O.R.S事務所、設備設計は新井設備事務所が行った。その後、沼津市により管理部分に少し手を加えたが、ほぼ創建当時のままである。
四隅に塔のようなコアがあり、これが柱となって構造を支えている。構造・設備・動線をコアに集約させているが、床面積に対するコアの割合が大きいため、コアの一部が展示室にもなっている。1階はコアに挟まれた十字形の空間と、コアのひとつが展示室となり、天井が高く、開ロ部も天井高までとられている。コア間に十字に渡された各階の梁下面には多数の溝が切られ、周囲の松林の松葉などを想起させる。階段室は薄暗く、踊り場に開けられた十字形のスリットや上方の片持ち梁から吊られたガラスの浮玉を利用した照明器具が海中を想起させる。漁具を用いたのは芹沢の生家が網元であったことに因む。竣工時に芹沢は「私の文学を象徴的に建築としてつくっていただいた」と述べている。小さな文化施設ではあるが、コアによって構成することで設計者の思想を実現するとともに、細部には精神性も感じられる建築である。
