云麓宮于明朝成化十四年（1478年）吉簡(jiǎn)王朱見浚就藩長(zhǎng)沙所建。取武當(dāng)山道觀的宮殿建筑形制，名曰洞真觀,舊宮早已廢圮。明嘉靖（1522年－1566年）年間太守孫復(fù)命道士李可經(jīng)重修，并增植松、柏、桐、梓及篁竹千株，使觀宇周圍風(fēng)景煥然一新。隆慶（1567年－1572年）年間道士金守分在山禁足修道，有殿元張陽(yáng)和慕名拜訪，因敬金守分道人玄機(jī)奧義，識(shí)度弘深，乃協(xié)力倡修云麓宮。由其募捐拓地，增建堂殿，改名云麓宮宮前殿為關(guān)圣殿，中殿祀玄帝，名玄武祖師殿，后殿祀“三清”。明末，云麓宮兩度毀于兵燹。

清康熙（1662年－1722年）初年，長(zhǎng)沙分巡道張睿修葺云麓宮。乾隆年間（1736年－1795年)構(gòu)殿五間,其后為三清殿,冶鐵為瓦,立石為柱。咸豐二年（1852年）毀于兵災(zāi)。清道光（1821年－1850年）年間在云麓宮內(nèi)建有望湘亭，亭在拜岳石上供游人憑欄遠(yuǎn)眺湘江與長(zhǎng)沙城。同治元年于門前筑一小亭，亭外又增五岳、天妃二殿,又增建宮門。次年武當(dāng)山太和宮道士向教輝來(lái)云麓宮主教事，集道友慕化捐資，按昔日規(guī)模重葺道宮。

1944年抗日戰(zhàn)爭(zhēng)期間為日軍飛機(jī)炸毀，云麓宮殿堂、神像、碑刻遭到嚴(yán)重破壞。1946年，道人鄔云開、吳明海等籌款修復(fù)。于望湘亭中增置純陽(yáng)真人呂洞賓浮雕石像，并刻真人所著《百字銘》。建靈宮殿在今飛來(lái)石處，建清虛宮在今歸來(lái)鐘處，均已毀。

中華人民共和國(guó)成立后云麓宮于1957年重修。1966年文革期間云麓宮遭到嚴(yán)重破壞。1976年修葺臨倒塌的關(guān)帝殿時(shí)，在原址上建長(zhǎng)方形兩層樓閣，東向城廓，供游人登臨覽勝。后殿及宮右呂祖殿均作茶室，供游人憩息品茗。宮左后方，拓坪數(shù)百平方米，并砌建曲廊。二十一世紀(jì)初在望江閣樓上豎呂祖像，按規(guī)制作龕，前廳堅(jiān)關(guān)帝像。三清殿按道家規(guī)制豎像三尊。云麓宮左豎有漢白玉《麓山樹鐙記碑》，旁豎《麓山鞏峙峙碑》，碑陰為“光聯(lián)翼軫”。原有天燈樹，已廢。

臨湘進(jìn)士吳獬掌教岳麓書院，為宮門撰一聯(lián)巧嵌“云麓道宮”四字，曰：“對(duì)云絕頂猶為麓，救道安人即是宮”，傳為佳作。

以前云麓宮宮門處掛有一幅對(duì)聯(lián)：“古剎出層宵，看岳色平分，江流環(huán)繞；名山多勝跡，有少陵寫句，北海題碑�！睂�(duì)聯(lián)的上聯(lián)寫云麓宮的地勢(shì)雄偉，似乎矗立在云端，在此可以近看岳麓山色，遠(yuǎn)眺湘江北流；下聯(lián)提及云麓宮所在的岳麓山有許多歷史勝跡，杜甫在這里留下了詩(shī)句，李邕題撰了著名碑刻。

望湘亭亭壁掛清人黃道讓"西南云氣來(lái)衡岳，日夜江聲下洞庭"木刻楹聯(lián)。云麓宮所在的岳麓山承接南岳衡山七十二峰，矗立在滾滾北去流入八百里洞庭的湘江河畔。 楹聯(lián)抓住了云麓宮地勢(shì)壯闊的特色，氣魄宏偉，對(duì)仗工整，字跡道勁，素來(lái)廣為傳誦。

明末清初長(zhǎng)沙人廖元度有詩(shī)《宿云麓宮》云：“林深宵空重，一梳對(duì)燈青。月色如秋瘦，蟲聲觸夢(mèng)醒”。抒發(fā)了作者在朝代更迭的亂世，無(wú)家可歸寄居廟觀，夜晚寂寞獨(dú)對(duì)孤燈，痛惜國(guó)亡家破的情感。

清代有一首由岳麓書院肄業(yè)生溆浦人嚴(yán)正基所撰的《夜登云麓宮》：“云麓峰巔足眠，征衫擾帶五溪煙。當(dāng)頭華月三千里，彈指東風(fēng)念四年。螟色暗投游屐外，松濤請(qǐng)到杵鐘邊。故園計(jì)買青山宅，便與人間作散仙�！� 詩(shī)中除描寫了云麓宮所在山峰的險(xiǎn)峻、視野的遼闊和月光、松濤等自然景色外，還聯(lián)系到云麓宮是道教名觀，表達(dá)了詩(shī)人想在此買宅居住，以作人間神仙的愿望。

望湖閣有聯(lián)“一雨懸江白，孤城隔岸青�！�

宮前有拜岳石，又名飛來(lái)石，石方廣丈余，因其可以瞻望衡岳而拜，故名。石上刻有宋代趙忭詩(shī)云“片石傳中天，云深鳥道間，人多祝堯壽，登此拜南山�！�

宮門左樹枝中緊嵌鐵鐘一口，鐘銘文記載為“萬(wàn)歷四年造”，傳說(shuō)為飛來(lái)鐘。經(jīng)風(fēng)霜雨雪而無(wú)銹，敲之其聲激越清揚(yáng)，偶聽之如同“歸來(lái)”之音，故又名“歸來(lái)鐘”。原鐘己毀，后補(bǔ)嵌一鐘于原處。