宋初，繼全國的四大書院：白鹿洞書院、石鼓書院、應(yīng)天府書院、岳麓書院之后，北宋末年在平定州城西南八里，山明水秀的冠山上建起了“冠山精舍”，書院屬民間私辦。元初，中書左丞呂思城父祖數(shù)世讀書于此。元代，在“冠山精舍”的基礎(chǔ)上，擴(kuò)建為“呂公書院”（呂公即呂思城），亦稱“ 冠山書院”，成為山西顯赫一時(shí)的最大書院。

“呂公書院”雖系官辦，但實(shí)成于呂思城之手，因而得名。志載：左丞呂思城，以元世祖“先儒過化之地，名賢經(jīng)化之所”立書院令，并奏請賜額，造燕居殿，設(shè)宣圣孔夫子肖像，以顏?zhàn)优c曾子配祭，另筑會(huì)經(jīng)堂，以及德本、行源齋舍，書院藏御賜經(jīng)籍、圖書萬卷。