ここは、北越地方の豪族五十嵐氏の邸宅跡です。五十嵐氏は、大同元年（八〇六）先祖忠利が姓を賜り常陸守に任ぜられ、三代左衛門尉利忠の時、越後守として当国へ赴任せられたといわれます。寺泊へ移住した年代は不詳ですが、文治三年（一一八七）の頃は寺泊近在六七ヶ町村を知行し、元和元年（一六一五）から三五年間、近郷一二六ヶ町村を支配していたという界隈きっての権力者でありました。
しかし、江戸末期には家運が傾き、戊辰戦争による家財没収や明治初期の火災のために没落し、広大な屋敷も一部人手に渡る窮状に至りました。その後、心ある人々によって、この地の保存が叫ばれ、土地も買い戻されて、現在は史跡公園として町が管理に当たっています。
ここには、承久三年（一二二一）佐渡へ遷御された順徳上皇が、風待ちのためしばらくご滞留になられた際の行在所（あんざいしょ）跡があります。
また、文治三年（一一八七）源義経主従が都落ちして寺泊に漂着し、ここ五十嵐邸にしばらく逗留したと伝えられ、今もその遺跡が残っています。
また、興国二年（一三四一）後醍醐天皇の第五皇子宗良親王が寺泊へ来て、新田義宗や土地の豪族五十嵐氏らと、南朝の起死回生策を謀議したと史実は伝えています。親王の詠歌を集めた「季花集」に「興国二年春、越後国寺泊に住みはべりしに帰雁を聞きて＝ふるさとと聞きし越後の空をだになほ浦遠く帰る雁が音」と、他に千鳥を詠んだ一首があります。
永仁六年（一二九八）には、歌人藤原為兼が佐渡配流の際一ヶ月余滞在し、遊女初君と歌を語り、今も池に名残りを留めるこの庭園を築いたといわれています。聚感園の名称は、「ここを訪れる人々が往時を偲びながら抱くであろうもろもろの感慨を聚（あつ）める庭園」という意で中院通知卿が、命名したものです。

出典：長岡市寺泊支所地域振興・市民生活課
提供元：長岡市寺泊支所地域振興・市民生活課
画像提供元：長岡市寺泊支所地域振興・市民生活課