大約在明朝神宗年間，有訾姓的兄弟二人肩挑簡單的傢俱長途跋涉來到了現在的佛來峪村北白模頂地塊，看到這裡山清水秀就放下了擔子蓋起了簡易的房子安了家，開墾了幾塊地種下了五穀，自此以後娶妻生子繁衍後代，後來又有王姓一家人來到此地安家，幾年的秋後幾家人飯後正在休息，只見一個老僧人趕著駝隊往大山中走去，人們沒見過駱駝都好奇地跟著走了很遠，但奇怪的是這個駝隊進了山再也沒見出來，以後人們進山砍柴摘果，滿山生香，以後人們就在山上開墾荒地栽上果樹，為了上山方便就把村莊遷到了現在的村址，人們就把這滿山生香、五穀豐登的山谷叫做香峪，因為有大山溝和小山溝所以就叫做大香峪和小香峪。
幾年後的一天，大霧瀰漫，出門看不見幾步外的東西，人們心裡很是鬱悶，大霧接連下了三天三夜，到了第四天才放晴，人們才開始下地幹活，出得門來只見村南的小山上金光閃閃，人們急忙跑到山上一看只見一尊金佛放射出耀眼的光芒，旁邊還放著一座佛龕，人們跪地而拜，大家湊了些錢修了這座廟宇，將佛供奉在廟中，大家說佛是自己來的就是告訴我們要積德行善、弘揚佛法，那我們這個莊就叫佛來峪吧！到後來這座廟宇特別靈驗，在那缺醫少藥的年代哪家有了病人人們到廟上燒燭香磕磕頭病就痊癒了，哪家生兒育女到廟裡求告果然如願，周圍十里八村的人們都來上香拜佛香火特別旺盛。
傳說，在清朝同治年間，本村張景田、張景山的老太爺張開印家境貧寒，靠種幾畝山坡薄地過日子，在村中有一層東開門的兩間小草房，膝下有五個兒子都已二十多歲到了成家的年齡，有一個女兒出嫁到河北莊，由於家境一貧如洗，一個保媒的也沒有，每年幾畝薄地打的糧食還不夠吃一年，新的糧食還沒熟就已經有幾個月揭不開鍋了，就這樣靠康菜半年糧來維持生活，眼看五個小夥子一天天長大，老兩口愁得每天唉聲嘆氣，這天晚上沒做飯，孩子們每人吃了一塊菜糰子就出去了，老兩口坐在炕上發開了愁，老伴說：要不你到閨女哪想想法，老頭說：瞎說，閨女那雖說糧食還勉強夠吃，可用啥出掙錢哪？憋了半天，老伴說;要不你到廟上燒個香吧，興許菩薩能睜眼那，老頭說，我沒敢想，菩薩哪能看見我那？天下的窮人可多了，可燒香那香錢上哪去找啊?老婆說咱家那小雞下了幾個蛋使雞蛋換取，老頭說，要說也是，誰家扔得快死的小雞黃讓你給撿回家，生就把它養活了還下了蛋，真是菩薩關照你啊！
第二天早上，老漢揣著著幾個雞蛋，揹著糞筐就到廟上去了，廟上賣香的賈家幾代人都在廟上賣香，看老漢來了，熱情地把他招呼進屋，老頭拿出雞蛋賣香人一看，您這是要燒香?老頭說，家裡沒有當錢的了，你揍和著給我一股香，賣香人說，你家情況我還不知道？我給您拿一股好香，菩薩會保佑你的，老頭把香在佛前點上，恭恭敬敬地磕了三個響頭，想起了家裡的妻兒老小，不由眼淚撲簌簌落下來，心裡暗暗禱告，大慈大悲的觀音菩薩您老人家睜開眼吧，幫我一把，我日子好過了天天給您燒香。
轉眼又是一年的年關，有錢人家的孩子大人做了新衣裳買了鞭炮，到處是歡聲笑語，可窮人家冷冷清清一點過年的景象都沒有，年三十的晚上，幾戶有錢人家掛起了燈籠燃鞭炮，都回家煮餃子去了，可張老漢家晚上又沒做飯，孩子們回家看看鍋冷灶冷吧嗒吧嗒嘴搖搖頭走了，老頭在家裡也沒有意思，穿上家裡的破皮襖來到街上，街上有點年味兒，有錢人家已經傳出了餃子的香味，老頭吧嗒一下嘴，一口苦澀的口水嚥了下去，冒著刺骨的寒風，老頭在街上轉了轉，沒什麼意思，老頭就想回家，就在這時只見一隻老母雞領著一群小雞，咕咕得走了過來，到了老頭腳前就不動了，老母雞張開翅膀小雞就都跑到了老母雞的翅膀下，老頭一看，雙手捧起了母雞和小雞，說，這冷的天誰家還在孵小雞那？多冷啊，先跟我回家吧！老頭把母雞小雞用破皮襖一包抱回了家，在煙囪櫃子下面，有幾個山柴，老頭給搭了個雞窩，把母雞和小雞放在裡面，就回屋了，上了炕和老伴說怪事，我撿了一隻母雞帶著一窩小雞，老婆說，沒影的事，誰家冬天孵小雞？老頭說真的。我把它們放在煙囪櫃子哪了你看看，老婆沒吭聲就睡覺了。
第二天早上，老婆早早地起床，我先看看那小雞該凍死了，來到煙囪櫃子前，她驚呆了，喊：老爺子你快來看看，老頭起身來到屋外也愣住了，哪有什麼母雞和小雞?只見二十幾個金光閃閃的元寶。老婆把元寶抱進了屋直髮愣，說這財是不是咱們的，老頭說先收起來吧，不要和別人說。第二天早上，老兩口高高興興地借了幾斤白麵包了頓餃子，孩子們既高興又納悶，咋還吃上餃子了？孩子們吃完飯就走了，老婆說;我聽老年人說這財得蒸不然留不住，老頭說你蒸吧，我到閨女家看看，老婆說要死當家人吶！老頭說：那也比孩子們打光棍強，我這把老骨頭算啥?於是他頭也不回地去了女兒家，老婆在家裡燒上大鍋架上籠屜蒸元寶，老頭在女兒家住了一宿，第二天女兒為老爸包了餃子，炒了雞蛋燙上一壺酒讓父親吃好喝好，老頭酒足飯飽之後，下炕找鞋回家，哪知就在彎腰穿鞋時一個倒栽蔥紮在地上停止了呼吸。女兒哭得死去活來，給老頭換了新衣服送回家來。居家披麻戴孝。
老婆在家裡買下了地皮磚瓦木料給五個兒子蓋了青磚瓦房。
自此以後，張家雞蛋換香廟裡哭訴，母子雞寒夜送財一直流傳至今。
在抗日戰爭年代，人們自發地將廟裡的金佛和大鐘藏了起來，日本鬼子搜了幾次也沒找到，最後由於叛徒的告密才被敵人搶走，全國解放以後大廟改作了學堂，一直到文革中才被徹底拆毀。
人們對世間認識的少，再加上文革中對無神論的宣傳，只是人們對神靈的蔑視，對佛教廟堂的踐踏，也得到了應有的懲罰，本村高順華在七十年代任平安城鎮黨委書記，利用職務之便，在小麻各莊拆廟時把廟上的坨木檁材拉回家蓋房，結果高順華在幾年後因政治和家庭作風問題被捕入獄，在獄中得了重病，出獄後病死家中，幾個兒子的家庭至今也生活不順，村民段廣義買了他家的房子兩年後的春天給別人家拆房時被砸身亡。
村民李自友也是個無神論者，村委會在廟後開發房基地，挖斷了廟上的水脈，致使廟上的龍爪古松乾枯，被李自友三百元錢買回家中，一年後他在焊自家油桶時油桶爆炸而死。神佛是神聖的不可踐踏和衝犯，否則會遭到應有的懲罰。
此廟原名西大寺，因為住過尼姑也叫西庵子，原建大雄寶殿一座，供奉如來佛祖；前殿一座，供奉觀世音菩薩，東西耳房，供僧人和看廟人住宿，還有山門一座，鐘樓一座，鐘樓裡掛有兩米多高的大鐘一口，可惜被日本鬼子搶走。
該廟的建築形式，大雄寶殿是前出廊硬山建築。鐘樓是四根石柱馬鞍脊建築，山門是歇山建築，耳房是馬鞍脊硬山建築，前殿是硬山建築，廟前有一棵龍爪盤松，威武的雄姿遠近聞名，牆外的青松排列有序，很有古剎仙風的雄姿。
重修設想：
這次重建計劃大雄寶殿一座，長18米，寬9米，重簷歇山五間，前出廊配漢白玉欄杆，前殿一座，長12米，寬6米三間，前殿是單簷廡殿建築，鐘鼓樓各一座，歇山挑簷帶斗拱方型建築。山門為歇山門樓式，東西配殿及耳房馬鞍脊建築。
將李春海房遷走栽古松，前院植古松六棵。
來源：遵化文史
