古代日本從中國(guó)導(dǎo)入律令制體制的時(shí)候，將執(zhí)掌祭祀的神祇官和執(zhí)掌政治的太政官二者完全分開，形成了二官體制。太政官統(tǒng)括八省——中務(wù)省、式部省、民部省、治部省、兵部省、刑部省、大藏省、宮內(nèi)省——是最高的國(guó)家機(jī)關(guān)。天平寶字2年（758年）到天平寶字8年（764年）之間曾使用了“乾政官（けんせいかん）”這一唐風(fēng)稱呼。

到了平安時(shí)代，攝政、關(guān)白代理天皇執(zhí)政，因此這一時(shí)期太政官的地位比較低，但是作為國(guó)家的最高機(jī)關(guān)，太政官仍然在國(guó)政的處理過程中發(fā)揮著作用。

進(jìn)入武家社會(huì)之后，太政官的實(shí)際作用逐漸被瓦解。鐮倉(cāng)時(shí)代，太政官仍具有政務(wù)處理機(jī)構(gòu)的功能；但是到了室町時(shí)代，太政官就基本形式化了，其中的官職也僅僅作為名稱而存在。

明治維新之后，律令制被徹底廢止，律令制太政官制度也壽終正寢。

太政官與律令制的其他部門一樣實(shí)行四等官制，設(shè) 長(zhǎng)官、 副官、 判官（審查官）及主典（書記官）。太政官系統(tǒng)包括議政官（政策決定機(jī)關(guān)）、少納言局和弁官局（事務(wù)部門）、巡察使（臨時(shí)監(jiān)察官），在這之下設(shè)置八省。太政官系統(tǒng)具有唐代的門下省與尚書省的功能：少納言局責(zé)類似于門下省，弁官局則類似尚書省。

在古代中國(guó)，與太政官類似的總攬政務(wù)、輔佐皇帝審議政策的機(jī)構(gòu)，被稱為“臺(tái)閣”。日本在向唐朝學(xué)習(xí)律令制的同時(shí)也用“臺(tái)閣”來稱呼太政官。這種稱呼也被明治維新之后的太政官制繼承，直到1885年用以“內(nèi)閣”為中心的內(nèi)閣制度取代了太政官制。