お大師さん（弘法大師空海）は、国内をくまなく回って人々の幸せの基を開かれた人で、そのおかげを受けない人はなかったと言われています。
天長二年（八二四）、お大師さんがこの地方を回られ、北野腰越の宝泉寺にお住まいになりました。ある夜、夢枕に大日如来様がお立ちになり、北の方の牛ヶ峰を指さして「仏教の根本の基を開く霊場とするように」とのお告げがありました。
牛ヶ峰の山は、その当時東大寺の杣山でした。大師はこの山に入り、岩窟の大岩に大日如来を刻みました。「のみ」と「つち」で大岩に仏の全身を彫りつけるのは大変なことです。毎日毎日コツコツと仕事を続け、その音が山々にひびきました。
こうして見事に仏を線刻された大師は「さて、こののみとつちをどこへしまおうかな」と考えられました。ちょうど真上に、表が板のように切りたった大岩がありました。「よし」とうなずいた大師は、その岩の上部に枡型の切れ目をつけ、岩を掘り取った中にのみとつちを納められたのです。
以来、下の岩窟を岩屋、上を枡型岩と呼ぶようになりました。
この二つの大岩は、もともと一つの岩だったのですが、いつのころか地面が大ゆれの時、真っ二つに裂けて一つが落ち、下のつっかい石の上に横たわったものだと言われています。
岩屋は神仏が溶けあった神道霊場として岩屋寺と呼ばれ、頭上の大日如来を本尊として、ほら穴の中に不動明王を、境内入り口に善女龍王を祀る修業の聖地となりました。戦を捨てた武士や、身内の不幸をなげく人々、あるいは山伏たちが救いを求めてこの山へ登って来ました。山の冷気と静けさの中で、ひたすら読経に溶け入ったのです。
岩屋寺から枡型岩へ登る参道には、中興の祖と呼ばれる空仙広祐が造った地蔵石仏（享保四年＝一七一九）などがあります。空仙さんは人々の幸せを祈るため、自分から墓穴に入り二一日間鐘を鳴らして成仏したと伝えられており、その墓の上には弥勒菩薩が祀られ、地元ではそれをクスセンと呼んでいます。
天正のころ（一五七三～）、岩屋寺で修業に励む若い僧の姿がありました。名は宥海、伊賀の国、滝村の豪族、滝三河守保義の弟で、早くから仏門に入り、岩屋寺宥専和尚を慕ってここに来たのです。
天正七年九月、北畠信雄（織田信長の二男）は伊賀を攻め、滝村の七仏薬師院を焼きはらいました。三河守保義は懸命に迎え撃ちましたが、負けて戦死しました。
岩屋寺にあった宥海は兄の戦死を知り、故郷に帰って防備を固めました。天正九年（一五八一）織田信長は再び伊賀を攻め、四万五〇〇〇の軍勢が社寺を焼きはらい、伊賀の土豪はみな討ち死にしました。宥海は仏の加護で生き残り、牛ヶ峰に帰りましたが、師の宥専和尚はすでに他界して、師弟の再開はなりませんでした。
宥海は五輪塔を建てて師の菩提を弔っていましたが、天正十年十月、おもいがけなく信長が本能寺で明智光秀に殺されたのでした。安心した宥海は、故郷の滝村でお寺を継ぐことをきめ、岩屋寺にあった阿弥陀如来像や、弘法大師が唐から持ち帰ったという五鈷杵などを持って滝村へ帰り、七仏薬師院の跡に立派な滝仙寺を立てたのでした。
岩屋、枡型は開山以来、人々の霊場として広まったのですが、世の流れと、とくに明治元年（一八六八）の神仏分離令によって起きた廃仏棄釈の波により、荒れ果てるままとなりました。
降って明治二十五年（一八九三）九月、北野西村の人びとが枡型岩に足場を組んで、枡型を開き、一般に公開しました。それは弘法大師が岩屋の大日如来と、もう一か所奈良市丹生町のソガオ地蔵像を岩に彫る時、使ったと伝えられるのみとつちが枡型に納められてあるのを公開し、霊場を明らかにすることにありました。
この開扉の大法会によって、岩屋・枡型は広く世に知られるようになり、枡型大師・ソガオ地蔵の巡礼が流行したのでありました。
布目ダムの流れを真下に見下ろす牛ヶ峰の岩屋・枡型は今幾多の歴史の謎を秘めながら、村内外の人々が目を見張る探訪の地となっています。