呼蘭清真寺西瀕風(fēng)光秀麗的呼蘭河，建於清嘉慶十五年（1810年），由回族鄉(xiāng)老王某牽頭興建。時(shí)僅草房三間，是一座簡(jiǎn)易的禮拜場(chǎng)所。
回族是信仰伊斯蘭教的民族之一，《呼蘭府志》稱(chēng)：“初，在陜、甘境，後乃東漸呼蘭全府均有之”，且多在清真寺周?chē)�安家落戶，人口逐年增多，原有的清真寺已不能滿足宗教生活的需要。遂有重建一座較大清真寺的倡儀。據(jù)呼蘭穆斯林韓在元老人的回憶：光緒初年，為擴(kuò)建清真寺，由第一次牽頭修寺的王鄉(xiāng)老之子，組織當(dāng)?shù)亟瘫娀I集資金，又到綏化、哈爾濱等地穆斯林中請(qǐng)求資助。擬在清真寺原址建清真寺的倡儀，得到當(dāng)時(shí)清朝地方官?gòu)垍f(xié)領(lǐng)的支持，且捐贈(zèng)了土地。
工程準(zhǔn)備就緒，改建工作開(kāi)始了。但地基剛剛砌完，便遭到當(dāng)?shù)伛v軍和八旗人（滿族）的阻撓。他們借口建起瑤殿會(huì)壓住龍頭，破壞了墳塋地的風(fēng)水。致使工程被迫停工。後經(jīng)教眾商議，決定請(qǐng)王鄉(xiāng)老到奉天（今沈陽(yáng)）向高州鎮(zhèn)總兵左寶貴（字冠延，回族）求助。王天奉天後，經(jīng)清真寺熟人介紹，得左的秘書(shū)引薦，才晉見(jiàn)了左寶貴，盡述呼寺建寺受阻之事。左當(dāng)即表示支持，并親題匾額，派軍用馬車(chē)專(zhuān)程運(yùn)呼蘭。事後在又進(jìn)京，將此事奏報(bào)慈禧太後，據(jù)說(shuō)慈禧太後將儲(chǔ)於大庫(kù)的康熙御筆九龍匾一塊送呼蘭（康熙御筆九龍匾為兩塊，一塊康熙在世時(shí)御賜北京牛街清真寺）。御匾即圣旨，建寺受阻事，遂得以排除。改建工程於光緒三年（1877年）竣工。
擴(kuò)建的清真寺占地面積約5000平方米。當(dāng)時(shí)是青磚圍墻，對(duì)廳在東面，每逢伊斯蘭教節(jié)日開(kāi)大門(mén)，平時(shí)開(kāi)南門(mén)。大門(mén)內(nèi)外曾分別掛有木刻“清真古道”、“認(rèn)主獨(dú)一”匾額兩塊。四合庭院內(nèi)鋪設(shè)甬道，對(duì)廳西面是磨磚對(duì)縫磚砌花紋，穿枝過(guò)梗的禮拜殿，由大殿和瑤殿組成，門(mén)前曾高懸九龍匾和左寶貴匾額。大殿奠基較高，禮拜時(shí)拾階而上，殿內(nèi)可容2000人禮拜。大殿為“明三（間）暗三（間）”結(jié)構(gòu)，交錯(cuò)起伏，飛檐四出，青灰色的壟瓦覆頂，顯得格外壯觀。瑤殿為三層方形，殿頂鑲有白錫重130公斤窯頂，四角鑲有龍形雕塑。聳立在大殿之後。禮拜殿壁的木雕，多為花卉與經(jīng)文；窗戶、殿門(mén)多系剔透木雕花卉；磚雕、石雕也全是浮雕的花卉圖案；為整個(gè)建筑增彩添輝。對(duì)廳南面西側(cè)是一棟磚房小暖殿，是冬天禮拜場(chǎng)所。東側(cè)一棟磚房，是沐浴室，內(nèi)設(shè)吊罐——穆斯林用來(lái)做大凈的沐浴水罐，吊在房梁上，地下有接水槽；并設(shè)有湯瓶——有來(lái)做小凈的水壺，高身長(zhǎng)咀；還有廚房、帳房。對(duì)廳北面南側(cè)一棟房，為教長(zhǎng)室、海裏法（學(xué)生）宿舍、講堂；東側(cè)一棟草房分別為女沐浴室、水房子、女禮拜堂。大殿前種植了玫瑰、芍藥、丁香花木，還有三棵大松樹(shù)和一片葡萄架。大殿後身有二間架子分房——存放亡人的地方，還有寺內(nèi)人員生活用的菜園。西面是大門(mén)。整個(gè)寺院顯得對(duì)稱(chēng)、協(xié)調(diào)、雅靜，是一座有主體、有陪襯、自成系統(tǒng)的中國(guó)宮殿式的古寺。
日偽時(shí)期呼蘭河水逐年?yáng)|浸，危及整個(gè)建筑群，當(dāng)局曾在清真寺的對(duì)廳南，采取相應(yīng)措施。但河水繼續(xù)東浸，土崖崩塌，致使整個(gè)寺宇處?kù)段�機(jī)之中。新中國(guó)成立後的1950年，阿訇、鄉(xiāng)老們呈書(shū)於呼蘭縣人民政府，報(bào)告實(shí)情。此舉引起了有關(guān)部門(mén)的重視，縣和省水利局都曾先後派專(zhuān)人到呼蘭河邊勘測(cè)，并采取措施，但終因工程浩大，得不償失，未能根治。1953年被迫將瑤殿拆除。1954年險(xiǎn)情更加嚴(yán)重，回族集會(huì)決策，成立了清真寺理事會(huì)，眾選許長(zhǎng)榮、曹德芳、趙寶山、李經(jīng)武、尹榮國(guó)等十幾人為理事，并做出遷寺重建決定。是年6月29日，同理事李經(jīng)武起草報(bào)告，呈縣人民政府，請(qǐng)批建寺址。政府曾和理事會(huì)多次協(xié)商，於12月20日草簽了協(xié)議，將寺址初定在和平街八間磚瓦公產(chǎn)房處。占地面積3000平方米。旋於1955年1月10日正式簽定協(xié)議，寺址問(wèn)題圓滿解決。教眾深受鼓舞，信心大增，當(dāng)晚集會(huì)研究請(qǐng)教長(zhǎng)問(wèn)題，并由理事會(huì)討論，教眾大會(huì)通過(guò)選舉李經(jīng)武為理事長(zhǎng)，許長(zhǎng)榮、曹德芳為副理事長(zhǎng)；又經(jīng)哈爾濱東、西兩清真寺阿訇推薦，擬請(qǐng)沈陽(yáng)東寺阿訇白立謙為教長(zhǎng)。
是年2月9日白教長(zhǎng)到任。途經(jīng)哈市時(shí)，受到東、西清真寺的熱情款待，并以錦旗三面為贈(zèng)。2月11日呼蘭清真寺理事會(huì)在寺內(nèi)設(shè)擺公席，宴請(qǐng)白教長(zhǎng)，并合影。2月13日下午召開(kāi)群眾大會(huì)，首由李經(jīng)武理事長(zhǎng)匯報(bào)理事會(huì)工作，白教長(zhǎng)動(dòng)員群眾集資重建禮拜寺。群眾當(dāng)場(chǎng)報(bào)名，共捐款人民幣1856元。後又賣(mài)出教產(chǎn)民房數(shù)十間。為籌集資金，白教長(zhǎng)、許長(zhǎng)榮等人還拿著呼蘭縣政府的有關(guān)批件和呼蘭縣回民聯(lián)合會(huì)、呼蘭縣清真寺理事會(huì)的文信，先後到遼寧、吉林、內(nèi)蒙古、哈爾濱、佳木斯等穆斯林中請(qǐng)求資助。得人民幣3000多元。後經(jīng)李經(jīng)武、尹榮國(guó)到縣政府民改科要求用五間草房換回七間門(mén)市房。又賣(mài)2500元。再加上原寺拆下的磚瓦木料，使遷寺重建工程得以開(kāi)工。1956年禮拜殿竣工，比原禮拜殿多一層瑤殿；北面五間磚瓦房，分別為小暖殿、會(huì)客室、教長(zhǎng)室。東面三間為四掌教宿舍、沐浴室；青磚圍墻，大門(mén)設(shè)在南面。
“文化大革命”時(shí)期，清真寺曾遭到嚴(yán)重的破壞。黨的十一屆三中全會(huì)以後，始得恢復(fù)。1982年成立了清真寺民主管理委員會(huì)，尹榮國(guó)為主任，白立謙、蔡發(fā)為副主任，委員十人。并同政府出資修葺了部分大殿，翻建五間舊磚房，作為小暖殿、教長(zhǎng)室、男女浴室，新建圍墻160米。1982年10月竣工，教眾開(kāi)始過(guò)正常宗教生活。
清真寺的宗教首領(lǐng)是教長(zhǎng)（首席阿訇）。一般任期三年，任期滿後，開(kāi)齋節(jié)時(shí)，由眾鄉(xiāng)老商議是否留用，如不留用，則另請(qǐng)他人。阿訇職責(zé)主要是為穆斯林主持婚喪儀式，以及悼亡追思等活動(dòng)。解放前，阿訇有權(quán)處罰違反教規(guī)穆斯林，如抽煙喝酒、放鞭炮等。二掌教協(xié)助阿訇處理教務(wù)；三掌教管理事物；四掌教（寺師傅）管理水房、屠宰等。屠宰費(fèi)歸阿訇、四掌教、清真寺三方分成。寺裏主要經(jīng)濟(jì)來(lái)源是“寫(xiě)月費(fèi)”，每月寫(xiě)一次，由先生（會(huì)計(jì)）協(xié)同幾位鄉(xiāng)老到穆斯林家“寫(xiě)月費(fèi)”，多少隨各家自愿。日偽時(shí)期，按每家經(jīng)濟(jì)狀況寫(xiě)月費(fèi)。柴炭費(fèi)一年一至兩次。清真寺的收支每月公布一次。阿訇一年寫(xiě)一次“束修”。以上費(fèi)用均由當(dāng)?shù)啬滤沽謸?dān)負(fù)。1958年政府為減輕回族群眾的經(jīng)濟(jì)負(fù)擔(dān)，實(shí)行教制改革，取消月費(fèi)、束修。安排白教長(zhǎng)到回民商店任副主任，使生活有了保障。後因年老自動(dòng)辭職。還由政府撥款買(mǎi)了一頭奶牛，其收入留作阿訇及寺裏的生活費(fèi)。1983年、1984年又開(kāi)始寫(xiě)柴炭費(fèi)。
呼蘭清真寺，雖不是有名的“開(kāi)學(xué)”（經(jīng)堂教育）地方，但有的阿訇也開(kāi)經(jīng)學(xué)，培養(yǎng)海裏法。其教育方法是每天晨禮後，便是阿訇講經(jīng)的時(shí)間，一般多是講授語(yǔ)言課程，大約有兩個(gè)小時(shí)左右。到了午禮以後，又行第二次講授，大都講授教法和經(jīng)注專(zhuān)課。晚禮後，是海裏法回講。教學(xué)的進(jìn)度，沒(méi)有什麼計(jì)劃，學(xué)習(xí)制度也較松散，學(xué)習(xí)時(shí)間則靠自己安排，所以修業(yè)時(shí)間長(zhǎng)短不定，主要決定個(gè)人努力和經(jīng)師的教育水平。海裏法達(dá)以畢業(yè)水平時(shí)由教長(zhǎng)提議，經(jīng)眾鄉(xiāng)老同意，舉行畢業(yè)儀式，稱(chēng)為“掛帳子”。地方鄉(xiāng)老給畢業(yè)的海裏法送賀帳，一般都題上“替天傳道”的詞句�，F(xiàn)哈爾濱市清真寺丁國(guó)棟阿訇便是從呼蘭掛的帳子。一般培養(yǎng)海裏法每次二、三名左右，最多是關(guān)東王。王子光阿訇任教時(shí)達(dá)八名海裏法。解放後，經(jīng)堂教育輟止，如今又恢復(fù)。

整體建筑為四合庭院。東面為對(duì)廳，禮拜大殿坐西，殿門(mén)前高懸九龍匾和左寶貴題書(shū)匾額。拾階而上，殿為“明三（間）暗六（間）”結(jié)構(gòu)，可容300人禮拜。其建筑交錯(cuò)起伏，飛檐四翹。窯殿為2層方形，殿脊中間有銀白錫窯頂，頂上鑲月牙，青灰色壟瓦復(fù)頂。殿內(nèi)壁有木雕花卉與古蘭經(jīng)文，殿門(mén)及窗戶多為木雕花卉及磚雕、石雕。對(duì)廳南面有一棟磚砌小暖殿，系冬天禮拜場(chǎng)所。東側(cè)磚房為沐浴室、廚房等。對(duì)廳北面為教長(zhǎng)室、講經(jīng)堂等。東側(cè)草房，分別為女禮拜殿、女浴室等。整體建筑對(duì)稱(chēng)、協(xié)調(diào)、雅靜。1956年由于呼蘭河水東浸，危及寺院，將寺址遷建于和平街。依原圖紙施工，比原寺多建一層窯殿，北面5間磚瓦房為小暖殿、接待室、教長(zhǎng)室，東面3間為掌教宿舍、沐浴室。青磚圍墻，大門(mén)建于南面。