1905年11月，山東省學(xué)務(wù)處議員宋恕擬就《粹化學(xué)堂辦法》，上書山東巡撫楊士驤，請求在山東創(chuàng)辦“粹化學(xué)堂”，同時請創(chuàng)建“海岱大圖書館”及閱報室，不久又提議，將圖書館及閱報室設(shè)在大明湖公園內(nèi)。此動議后因經(jīng)費緊張及宋恕、楊士驤先后離開山東，未及實現(xiàn)。

1909年，圖書館建于大明湖畔，典型的館園結(jié)合式建筑，是全國建立較早的省級公共圖書館之一，初建時稱“山東圖書館”。圖書館創(chuàng)辦之初實行坐辦制，1913年9月改為館長制。

1915年冬，改館名為“山東公立圖書館”，隸屬山東省長公署。

圖書館早期典藏包括四部分：一是書籍，購置各省官書局出版之書，家刻坊版之善本，或以館中自印書籍與各省官書局交換。1916年館藏13萬卷。此后受經(jīng)費所限，加之1928年“五三慘案”，藏書遭炮擊，損失大半，僅余62770冊；二是金石古物，設(shè)山東金石保存所儲之；三是書畫碑帖，羅正鈞以提學(xué)使名義，通飭各縣，就所在石刻，每石拓送一份；四是書板，包括山東官書局版片，仍照舊印售，凡書106種，16983片。編有《山東圖書館辛亥年藏書目錄》、《山東圖書館重編書目》等。

1929年夏，山東圖書館改稱山東省立圖書館，隸屬于省教育廳。時任山東省教育廳廳長何思源任命著名學(xué)者王獻唐為山東省立圖書館館長。王履新后，即著手改組，重新厘定工作計劃，修訂館章，清點館藏，修繕館舍，申請經(jīng)費，購置新書，注重齊魯鄉(xiāng)邦文獻的收藏。自是年起至1937年抗戰(zhàn)爆發(fā)前夕，山東省圖書館迎來了一段事業(yè)上的輝煌時期�？椎鲁上壬�在1994年撰寫的《王獻唐先生墓表》中稱：“不數(shù)年，館譽鵲起，當(dāng)時蓋以為僅次北平圖書館云�！�

1931年創(chuàng)辦《山東省立圖書館季刊》和《山東省立圖書館叢刊》，為使新舊圖書分類收藏，各適其位，索檢便捷，1932年編成《山東省立圖書館圖書分類法》。

抗日戰(zhàn)爭爆發(fā)后，省圖書館的建筑、設(shè)備、藏書都遭到了嚴(yán)重損失。1937年12月，日軍侵占濟南，該館慘遭搶掠焚燒，玉佩橋以東的“海岳樓”、“宏雅閣”等建筑全部付之一炬，留存館內(nèi)的圖書文物損毀殆盡。

1938年5月起，日偽政權(quán)派人修理殘毀房屋，在“海岳樓”舊址改建“抱壁堂”，搜集散佚圖書，補充新舊書籍。

為使珍貴典籍文物免遭涂炭，王獻唐與屈萬里選善本及金石書畫精品裝為三十一箱，分別于1937年10月12日至15日、10月23日、12月20日，分三批運至曲阜孔德成奉祀官府內(nèi)。又從第一次所運十箱中選出宋元秘本、唐人寫經(jīng)、商周銅器、秦漢瓦當(dāng)、明清瓷器等裝成五箱（余留奉祀官府），于1937年12月27日，王獻唐、屈萬里與工友李義貴三人攜載遠徙。

途經(jīng)銅山、鄭州、武漢，在四川萬縣停留數(shù)月，于1938年11月24日，終將圖書文物運至樂山大佛寺天后宮中保存，行程凡七千余里�？箲�(zhàn)勝利后，被國民黨軍隊占據(jù)，先為行轅，后為軍火倉庫。

在經(jīng)歷了十余年的戰(zhàn)火與各種困難局面的考驗之后，1950年底，保存在曲阜、樂山兩地的珍籍文物完好運回故里，王獻唐等人受到文化部的表彰。因歷史原因，這批珍貴文物分藏在該館和山東省博物館。

1948年9月，濟南解放，經(jīng)過整頓修復(fù)，于1949年4月正式開館，先隸屬山東省文教廳，后隸屬山東省文化廳。館內(nèi)設(shè)采編、圖書保管、閱覽、書目參考、特藏、研究輔導(dǎo)6部和辦公室。

1959年，該館面積達8000平米的“遐園”除抱璧堂外連同古碑刻被劃撥給大明湖公園，原有建筑全部拆除，金石碑刻也在文革中被破壞。1963年在奎虛書藏樓前建青磚圍墻與公園隔開，中間以飛檐大門相通。

該館恢復(fù)開館之初，館內(nèi)殘存的書籍加上一部分國民黨官僚機構(gòu)和私人藏書以及新購圖書，共計30余萬冊。為了盡快將這些書分編上架，1949年7月，副館長劉惠吾主持編寫了《山東省立圖書館分類新法》，1950年1月推出油印本。它是是建國后編制最早的圖書分類法之一，被稱為“山東法”。這一時期，該館通過擴大館內(nèi)外閱覽場所、組織讀書小組、興建圖書閱覽站、延長開放時間等一系列措施，以及舉辦報告會、朗誦會、座談會，辦讀者墻報等活動。同時舉辦各類業(yè)務(wù)學(xué)習(xí)班。

1952年，更名為“山東省圖書館”。多年來采用閱覽、外借、解答咨詢、復(fù)制、舉辦展覽會、報告會等形式為社會服務(wù)。

歷時十載的“文化大革命”使圖書館事業(yè)遭到極大破壞，該館業(yè)務(wù)工作基本上處于淹蹇停滯狀態(tài)，直至文革結(jié)束。

1974年，建成了建筑面積2000平方米的書庫樓。

1979年6月成立了山東省圖書館學(xué)會，涵蓋全省公共、高校、科研等系統(tǒng)的圖書情報單位。1981年9月，創(chuàng)辦《山東圖書館季刊》。

1984年9月，新建的閱覽樓正式啟用，設(shè)有普通閱覽室2個，中文報紙、中文期刊閱覽室各1個，外文、文獻檢索、古籍閱覽室各1個，社會科學(xué)、自然科學(xué)借書室各1個。

1985年，有閱覽座位600余個，持證讀者2.2萬余人，藏書330萬冊，館舍面積約1.04萬平方米，工作人員117人，年經(jīng)費109萬元。

1994年引進圖書館自動化管理系統(tǒng)，1995年建立光盤數(shù)據(jù)檢索系統(tǒng)，1997年組建了局域網(wǎng)，1999年建立電子閱覽室，2000年擴充了計算機網(wǎng)絡(luò)。主編《社會主義精神文明文獻索引》，編纂《易學(xué)書目》、《山東省圖書館館藏海源閣書目》、《館藏革命文獻書目》等。

2002年10月8日，山東省圖書館新館開館典禮在新館知識廣場舉行。由中國國家圖書館與山東省圖書館聯(lián)合建設(shè)的“全國聯(lián)合編目中心---山東省分中心”于2003年8月8日正式成立。

2004年11月13日順利通過文化部全國公共圖書館評估定級，被定級為一級圖書館。

截止到2004年底，圖書館館藏文獻612萬（冊）件，其中輕工、醫(yī)學(xué)、哲學(xué)等門類的收藏已達研究級水平，齊魯方志專藏、海源閣專藏、易經(jīng)專藏、山東革命文獻等收藏較豐富。齊魯方志海內(nèi)存約600種，而該館館藏528種，善本58種，《（萬歷）兗州府志》則為海內(nèi)孤本。海源閣專藏計2280種32000冊，約占海源閣所存藏書的三分之二，并有較多名人手跡，如林則徐、翁同書、吳式芬、錢儀吉、許瀚等人的書札。該館收藏易經(jīng)文獻1317種，總計2205個版本，近萬冊。另外，該館收藏的唐人寫經(jīng)卷、宋刻蝴蝶裝《文選》、宋刻巾箱本《萬卷菁華》、蒲松齡手稿《聊齋文集》、王士禎批�！独�侖山房集》稿本等均為傳世珍品。

館藏期刊涵蓋各個學(xué)科，基本形成了一個具有特色的綜合性館藏報刊體系。其中辛亥革命時期的山東獨立同盟會機關(guān)報《齊魯公報》、原中國共產(chǎn)黨渤海區(qū)委機關(guān)報《渤海日報》、膠東區(qū)委機關(guān)報《大眾報》等資料文獻彌足珍貴。

館藏外文書刊則以輕工、化工、電子技術(shù)、環(huán)境保護、醫(yī)藥衛(wèi)生方面的文獻為特色，如美國《化學(xué)文摘》從1907年收藏至今，《日本特許公報》從60年代初收藏至今，還有《美國專利文摘》、《世界專利索引》、《美國工程索引》。

中文普通圖書：主要分為社會科學(xué)（包括：哲學(xué)、政治、經(jīng)濟、法律、軍事、教育、文學(xué)、歷史等學(xué)科）、自然科學(xué)（包括：自然科學(xué)總論、數(shù)理科學(xué)和活血、天文學(xué)、地球科學(xué)、生物科學(xué)、醫(yī)學(xué)、衛(wèi)生、農(nóng)業(yè)科學(xué)、計算機工程、輕工、化工、建筑、航天、環(huán)境等學(xué)科）兩大類。

中文期刊：年訂刊量由99年的3000余種增長到5400余種，涉及政治、文學(xué)、法律、科技等各各門學(xué)科，種類齊全、內(nèi)容廣泛。

中文報紙：達450多種，涉及全國各省、市的主要黨報、晨報、晚報、科技報等，特別是山東省的地方報紙幾乎全部收藏，在全面、針對收藏的同時又體現(xiàn)了地方特色。

外文圖書：共收藏英文圖書51000余冊、日文圖書1萬余冊、德文圖書1千余冊、俄文圖書1萬余冊。內(nèi)容涵蓋社會科學(xué)和自然科學(xué)的各類圖書。

外文期刊：每年新購英文、日文、俄文等三個語種的現(xiàn)刊90余種。

山東地方文獻專藏：共有約45000多種60000多冊，主要收藏1949年以后出版的在內(nèi)容上具有山東地方特征的文獻，如地方志、年鑒、地方人物傳記等。

音像資料：收藏音像資料兩萬余種，主要內(nèi)容有國內(nèi)外的最新影片、科普系列、書畫系列、保健系列、兒童動畫系列、中小學(xué)學(xué)習(xí)輔導(dǎo)系列、英語學(xué)習(xí)磁帶系列、最新音樂系列。

數(shù)字資源：主要收藏有《萬方數(shù)據(jù)（期刊、博碩）》、《中國科技期刊全文數(shù)據(jù)庫（維普網(wǎng)）》、《中國學(xué)術(shù)期刊全文數(shù)據(jù)庫（中國知網(wǎng)）》、《中國年鑒數(shù)據(jù)庫（中國知網(wǎng)）》、《慧科新聞》、《國務(wù)院發(fā)展研究中心信息網(wǎng)》、《新東方多媒體學(xué)習(xí)庫》、《VIPExam考試學(xué)習(xí)資源數(shù)據(jù)庫》、《晚清民國期刊全文數(shù)據(jù)庫》、《全國報刊索引》、《點點博創(chuàng)》，以及《中國大百科全書》和《萬方新方志》12個數(shù)據(jù)庫。

善本專藏：5567 部62218冊，其中抄本近千種，稿本約400種，批校本600多種，海內(nèi)孤本450多種，如宋刻蝴蝶裝《文選》、宋刻《萬卷菁華》、蒲松齡手稿、林則徐手札等，均有極高版本、學(xué)術(shù)價值。

海源閣專藏：2191 種2319部32378冊，計元本2，明本368，清本1740，民國6，抄本79，其中收入《全國善本》400多種，且沿有諸多名人手稿、信札。

易廬專藏：977 部3534冊，幾近存世易籍半數(shù)。

山東方志專藏：舊志528種，占現(xiàn)存山東方志的80%以上。

舊平裝專獻：20880 種43777冊，以解放戰(zhàn)爭時期出版物居多，也有部分抗日戰(zhàn)爭和第二次國內(nèi)革命戰(zhàn)爭時期各解放區(qū)的出版物，另有部分?jǐn)辰y(tǒng)區(qū)的進步書籍。其中以山東解放區(qū)出版物最多。

佛經(jīng)專藏：明《永樂南藏》一部5200卷5104冊，明正統(tǒng)五年刻，萬歷十二年刻《永樂北藏》兩部，其中一部5079卷5078冊，另有明萬歷泥金粉本《華嚴(yán)經(jīng)》一部，清康熙年間刺血寫本《華嚴(yán)經(jīng)》一部，其余佛家藏書2000余種。

歷代刻本：《明永樂北藏》、《大學(xué)新增合璧連珠聲律萬卷菁華》。

寫抄：《海源閣珍藏尺牘》、《古蘭經(jīng)》、《丁寶楨奏折》、《大方廣佛華嚴(yán)經(jīng)》、《高鳳翰左手墨跡》、《思益經(jīng)》。

備注：以上內(nèi)容據(jù)2016年3月圖書館官網(wǎng)信息顯示

山東省圖書館1994年引進圖書館自動化管理系統(tǒng)，1995年建立光盤數(shù)據(jù)檢索系統(tǒng)，1997年組建了局域網(wǎng)，1999年建立電子閱覽室，2000年擴充了計算機網(wǎng)絡(luò)。館域網(wǎng)以千兆以太網(wǎng)為主干，桌面帶寬達到100M，以1000M的寬帶城域網(wǎng)專線實現(xiàn)與Internet的高速互聯(lián)。分為圖書館業(yè)務(wù)管理、智能辦公、電子閱覽、電子教學(xué)、數(shù)據(jù)檢索、網(wǎng)站、文化信息資源共享服務(wù)等應(yīng)用系統(tǒng)。

山東省圖書館365天全年開放，每周開放時間達73.5小時；閱覽、外借實行全面開架管理，開架書刊數(shù)量占該館藏書近50%，2008年流通量達360余萬冊次，接待讀者170多萬人次；開通網(wǎng)上續(xù)借服務(wù)，讀者足不出戶就能完成圖書續(xù)借；設(shè)立自助服務(wù)的“自助還書箱”，讀者24小時可到館還書。

據(jù)2016年3月圖書館官網(wǎng)信息顯示，山東省圖書館設(shè)有館長室、辦公室、政工科、財務(wù)科、研究輔導(dǎo)部、季刊編輯部、讀者活動部、計算機網(wǎng)絡(luò)中心、網(wǎng)吧監(jiān)控中心、縮微部、采編部、少兒部、綜合閱覽部、保衛(wèi)科、物業(yè)科、讀者書店 辦證處、中文外借部、參考咨詢部、資源建設(shè)部、中文閱覽部、中文報刊部 外文部、中文閱覽典藏 歷史文獻部、培訓(xùn)部等部門。

1911年，編纂山東省圖書館建館后的第一部書本式目錄--《山東圖書館辛亥年藏書目錄》。

1916年4月，編制成《山東圖書館重編書目》。

1932年，王獻唐與該館編藏部同仁通力攜手，共同完成了《山東省圖書館圖書分類法》。山東省圖書館用此法分編的圖書近50萬冊，并一直影響到解放后《山東省立圖書館圖書分類新法》（即《山東法》）的編制。

1949年7月，山東省圖書館副館長劉惠吾帶領(lǐng)大家著手編寫了《山東省立圖書館圖書分類法》，這是建國以來圖書館編制最早的分類法之一，被成為《山東法》。自此，《山東法》不斷修改。從1949年起至1976年改用《中圖法》之前的27年，該館用《山東法》類分中外文圖書總數(shù)達200余萬冊。

由山東省圖書館、山東省標(biāo)準(zhǔn)化研究院共同承擔(dān)制定了《圖書借閱服務(wù)規(guī)范》，2009年4月已經(jīng)通過報批，作為地方標(biāo)準(zhǔn)由山東省質(zhì)量技術(shù)監(jiān)督局正式發(fā)布并實施。這是中國首個圖書借閱服務(wù)行業(yè)的政府標(biāo)準(zhǔn)。

《山東圖書館學(xué)刊》原名《山東圖書館季刊》，1981年創(chuàng)刊。是由山東省圖書館主管，山東省圖書館、山東省圖書館學(xué)會聯(lián)合主辦，是山東省唯一的圖書館學(xué)專業(yè)刊物，辟有“學(xué)術(shù)論壇”、“工作方法研究”、“讀者工作”、“學(xué)術(shù)與傳承”、“東方閱讀書院”、“圖書館現(xiàn)代技術(shù)””、“冊府說苑”等欄目�？�登的論文內(nèi)容涉及圖書館學(xué)、情報學(xué)、文獻學(xué)等各個領(lǐng)域和圖書館工作的方方面面，既有立論獨到的大家之作，亦有觀點新穎的中青年優(yōu)秀論文，并時刻關(guān)注圖書館界的理論熱點，如圖書館n.0、知識經(jīng)濟與圖書館、圖書館立法研究、閱讀學(xué)研究等。

山東省圖書館標(biāo)志以變形的字母“S”和“D”為基礎(chǔ)，以綠色人文、書籍是人類進步的階梯為理念，展現(xiàn)出了山東省圖書館的人文氣息。

山東省圖書館下轄的少年兒童圖書館不定期的在館內(nèi)外開展各類讀者活動，如舉辦講座、報告會、征文演講、展覽、知識競賽、燈謎會等，許多學(xué)校將該館列為德育教育和社會實踐活動基地，組織學(xué)生定期來該館參觀、上閱讀課，利用寒暑假參加社會實踐活動等，2000年和2002年分別在山東省未成年人管教所和濟南特殊教育中心建立分館，送書并開展活動。

2001年和2002年該館兩次分別被省直機關(guān)黨委、省婦聯(lián)授予“巾幗文明示范崗”榮譽稱號。2003年被山東省宣傳部、省婦聯(lián)、團省委等六家單位聯(lián)合授予“山東省小公民道德建設(shè)示范基地”榮譽稱號。

該館自2012年1月1日起，每周一下午閉館（周一遇國家法定節(jié)日假期除外）