歷史記載

清嘉慶縣志載，建于北宋淳化五年（994年），從明楊博游賢山寺碑考察，磨毀寺內原北朝造像碑所刻一事證明，（碑上部造像尚存），其始建時代晚于北宋。清嘉慶縣志載，張載（橫渠）隱此讀書講學，故名賢山。這里道路蹊徑幽奇，峰巒迂回俊秀，眺望終南渭水，遠山掩映，近水如帶，每當夕陽西下，霞光映古剎，蔥郁古樹，殿宇亭臺，篩映光輝，曲回迂折，暗洞通明。"賢山晚照"為扶風八景之一。明清以來，文人雅士常游賢山，題吟甚多。明楊博游賢山碑尚存。寺內元代磚塔、明清建筑、張夫子殿、大佛殿、山門、僧舍等古建筑于1958年被拆毀盡凈。1984年以來佛教徒自行重修佛殿五間、僧舍灶房兩幢。賢山古剎初步恢復。

庭豎豐碑，文意高古，中序：寺始于唐世至大元至正時，有僧名賢齊者，年二十游方至此，鑿洞以居，歷年九十，腳跡不至人間.二虎常為守洞，鄉(xiāng)入德之，故名賢山。是山以僧彰名，非宋之橫渠讀書而名者明矣。