公元1094年，黃庭堅因編修《神宗實錄》貶斥王安石新政，而遭新黨再次罷黜出朝，被貶往黔州（今重慶市彭水縣）。在這里，他有機會靜心研讀了杜甫描寫兩川(西川治成都、東川治梓州即今四川三臺縣)和夔州(今重慶市奉節(jié))的大量詩作，認為兩川夔峽杜詩頗具古代大雅詩的“宏遠雅正”之風，推行杜風首先要推廣杜甫的兩川夔峽詩篇。因此，他“盡書子美兩川、夔峽詩”，并想把親筆書寫的杜詩刻成石碑，存放在蜀中喜好詩文的人家，“使大雅之音久湮沒而復盈三巴之耳”。

黃庭堅想要書刻兩川夔峽杜詩保存蜀中的消息，被同樣推崇杜詩的楊素獲悉后，楊素就有了想法。宋哲宗元符元年（1098），黃庭堅遷徙戎州（今宜賓），楊素聞訊，便連忙帶上一個作為見面禮的竹書櫥，從古岷江碼頭乘船趕往宜賓拜會黃庭堅。老翁楊素懇請黃庭堅惠賜杜甫詩書，然后自己出錢請工匠鐫刻成碑，并修建高閣大廈永久珍藏這些杜甫詩碑。黃庭堅是蘇東坡的學生，曾客居眉山，一聽眉山有人愿意實現(xiàn)自己的夢想，簡直喜出望外。

半年后，楊素再赴宜賓，將黃庭堅書寫的800多首杜甫兩川夔峽詩帶回家鄉(xiāng)，馬上請來數(shù)十名石匠刻碑。然后在他的家院右側，修建了一座用來珍藏這些詩碑的高屋大堂，并用青石板鋪筑了一條通往縣城的石板路，以便各方人士前來觀瞻讀詩。這個地方距丹棱城南3公里，就是如今丹棱鎮(zhèn)茶林村高廟溝上方的楊灣。

元符三年（1100年）9月，詩碑大堂全面竣工，楊素又去宜賓請黃庭堅為它題名。黃當然高興，揮筆寫下了“大雅堂”三個大字，并撰寫《大雅堂記》，記錄了楊素在故鄉(xiāng)興建大雅堂的起因、經(jīng)過、結果和意義。有詩曰：“南安（今丹棱）多勝壯江山，白鶴儒林大雅堂�！�

當時的大雅堂，宋式廟堂，斗拱建筑，內(nèi)外流金溢彩，圍墻足有1公里長。最初內(nèi)設6個大殿，殿堂為紅墻碧瓦，300多方詩碑陳列其間。正殿門楣上，鐫刻黃庭堅手書大字——大雅堂。大雅堂所收的800多首杜詩，占了杜甫全部兩川夔峽詩的80%。據(jù)說，杜甫在兩川詩有470多首，夔州詩則有467首。杜甫在兩川夔峽生活期間，正是詩人生平的一大轉折時期，政治思想和詩歌理論創(chuàng)作都進入了一個新的境界，也是他一生中創(chuàng)作力最旺盛的時期，兩川夔峽詩在數(shù)量上占了他一生詩作的三分之二。可以說，大雅堂是集唐代詩圣杜甫詩和北宋書法大家黃庭堅書法藝術為一體的詩書堂。

歷經(jīng)南宋、元、明各代之后，大雅堂又收藏了名家詠大雅堂的詩、詞、文、賦上百件，洋洋灑灑，蔚為詩、書藝術大觀。后世之人常以能否登大雅堂，來作為衡量和區(qū)別文學藝術作品雅正或粗俗的標準，成語“不登大雅之堂”遂由此產(chǎn)生。1497年（明朝弘治十年），一個叫榮華的巡按御史組織擴建大雅堂，增修了1個大殿，為杜甫、黃庭堅塑像貼金，并刻碑紀念。凡乘轎過此者，都要下而步行，以示敬意。大雅堂遂成“丹棱八景”之一。

為此，一些史學家稱丹棱北宋大雅堂是中國詩歌的圣殿，丹棱是中國大雅文化的發(fā)祥地。從宋朝開始的歷代國家級史志上都有相關記載，宋史《周益公大全集》、明史《永樂大典》、明朝《四川通志》等，都把丹棱大雅堂放在很高的位置。清代以來各種版本的《丹棱縣志》均稱，北宋丹棱楊灣大雅堂是中國唯一的大雅堂。

可惜，在明末清初連綿不斷的戰(zhàn)亂中，大雅堂被毀，詩碑散陷于山野泥土之中�！兜だ饪h志》（清乾隆版201頁）載：大雅堂，（丹棱）城南三里，邑人楊素翁請黃庭堅書杜甫蜀中詩，刻石。作堂蔭之。并懇為記，明弘治中，巡按御史榮華重新祠宇，立像勒石，知縣江謙率眾紳士往祭也，遂為故事。獻逆后，堂毀，碑碣無存。

《丹棱縣志》說“獻逆后，堂毀，碑碣無存。”張獻忠是在崇禎十七年（1644年）8月9日攻破成都的，之后很快控制了四川大部分地區(qū)的州縣。是年冬，絕望之下，張開始在四川進行空前的燒殺破壞，殘忍變態(tài)至極。清順治三年（1646年）10月20日，張獻忠在與清軍交戰(zhàn)時中箭身亡。因此，大雅堂被毀可能是在1645—1646年間。

最近幾年，丹棱縣政府一直打算在南宋歷史學家李燾的故里——丹棱龍鵠山下“雁湖”北岸擇地重建大雅堂，以陳列黃庭堅手書杜甫兩川夔峽詩碑，并塑杜甫、黃庭堅及楊素像等，重現(xiàn)古代大雅堂之風姿。但終因財力有限而擱置。