開山行基、中興開山慈覚大師円仁と伝える。大蔵山観音院杉本寺と号す。
大蔵観音、杉本観音の別称で親しまれている。

観音霊場坂東三十三か所第一番の札所。
源頼朝入府以前から鎌倉にあった数少ない寺社の一つで、鎌倉最古の霊場といわれている。

この寺の沿革は歴史の古い割りにははっきりしないが、『吾妻鏡』には大倉観音堂の名で現れる。
同書によれば、文治五年(1189)十一月二十三日、失火によって観音堂が焼けたが、本尊は別当浄台房が火中に入り無事に持ちだした。その際浄台房は衣の一部をこがしただけで火傷を負うことがなかったというので、観音経にとかれる功徳が現れたとして信仰を集めたらしい。

建久二年(1291)には源頼朝から修理料として准布二百端の奉加を受け、建久四年(1193)には頼朝、建暦二年(1212)には実朝が参詣している。

室町時代以降については詳しくわからない。

本尊は十一面観音像三体で、最も古い木造十一面観音立像は行基作と伝えるが、平安時代末期の素朴な魅力を持つ彫刻である。
この本尊は別名覆面観音、あるいは下馬観音とよばれ、次のような説話を残す。
門前の街道を馬上のまま通ろうとすると必ず馬から落ちてしまう。そこで北条時頼の時に大覚禅師に覆面をしてもらったところ、それからは落馬する者はなかったというのがその話である。

残りのニ体は共に国指定の重要文化財で、一方が慈覚大師円仁作と伝えられ、藤原時代の作、最後の一体は鎌倉時代の作品で、恵心僧都源信作と伝えられている。