荀嵩志操清純，喜好文學。晉武帝泰始年間繼襲父親荀頵安陵鄉(xiāng)侯的爵位，任濮陽王司馬允的文學。后被趙王司馬倫任命為相國參軍。多次升遷后官拜侍中、中護軍。

永嘉五年（311年），漢國軍隊攻陷洛陽并擄走晉懷帝，荀嵩與百官出奔密縣。路上荀嵩母親逝世，而追兵將至，荀嵩被官員們拋下，最終荀嵩遇襲還受了重傷。荀嵩及后于密山安葬母親，并為她守喪。守喪完結后，在滎陽行臺的荀藩承制以荀嵩監(jiān)江北軍事、南中郎將、后將軍、假節(jié)、襄城太守。當時皇陵都被盜，荀嵩便派主簿石覽領兵到洛陽修葺皇陵，后以功勛進封舞陽縣公。及后遷任都督荊州江北諸軍事、平南將軍，鎮(zhèn)守宛，改封為曲陵公。

建興三年（315年），作亂的杜曾圍攻宛，荀嵩見自己兵少而且食糧已盡，于是派女兒荀灌向襄城太守石覽及南中郎將周訪求救。二人派兵合力營救，杜曾見援軍前來就逃散。杜曾不久就向荀嵩請降，并請求討伐丹水縣的盜賊。荀嵩寄望杜曾成為自己外援，于是不理陶侃的勸阻而答允。但杜曾隨后便領兵圍攻襄陽。荀嵩隨后使派兵突襲穰縣，俘殺杜曾堂兄杜保。

太興元年（318年），晉元帝即位，征召荀嵩為尚書仆射，與刁協(xié)共同制定禮儀。后轉太常，任內(nèi)建議設置《儀禮》、《公羊傳》、《谷梁傳》及鄭氏《易》的博士。

永昌元年（322年），王敦之亂爆發(fā)，大將軍王敦舉兵攻陷建康，執(zhí)掌朝政，又表荀嵩為尚書左仆射。同年晉元帝因王敦之亂憂憤而死，群臣商議元帝廟號，但王敦則認為現(xiàn)在國家未統(tǒng)一，當日后再議。然而荀嵩則不認同，更建議上廟號為“中宗”。

太寧元年（323年）加散騎常侍，后又領太子太傅。王敦之亂被平定后又任金紫光祿大夫、錄尚書事，封平樂伯。后更遷右光祿大夫、開府儀同三司，錄尚書事。后來又加領秘書監(jiān)，給親兵一百二十人，頗見親待。

咸和三年（328年），歷陽內(nèi)史蘇峻率叛軍攻陷建康，荀嵩與王導等人在叛軍入宮時共同守衛(wèi)晉成帝。不久蘇峻強遷成帝到石頭城，荀嵩亦緊隨在成帝身邊。次年，討伐義軍屢敗叛軍，并攻破石頭城，成帝亦被迎至建立行臺的溫嶠的船上。當時荀嵩已病重，但亦然吃力的步行跟從。后逝世，享年六十七歲。朝廷追贈侍中，謚號為敬。