張蔭垣自幼聰慧，博覽群書，但少年科舉并未成功。同治初年，他隨著舅氏李宗岱（山農(nóng)）到濟南，捐資而成為知縣，同治三年（1864年）入魯撫幕。他素有奇才，能說會寫，辦事認真，干練有為，兩任山東巡撫閻敬銘和丁寶楨都很器重他。

幾次推薦后，光緒五年（1879年）張蔭垣被授徽寧池太廣道。在蕪湖任道臺時，正逢洪水泛濫成災，江河決堤，又遇上連日降雨，人民處在水深火熱之中。他臨危不懼，除了親自帶領百姓抗災外，還捐出自己的薪俸救濟災民。

由于政績顯著，光緒八年張蔭垣升任按察使，三品京官，在總理各國事務衙門任職，開始了他的外交官生涯。

由于他通曉國外事物，熱心洋務運動，“初為西后所賞識，嗣為德宗所依重�！� 光緒二年，英國人要求開放煙臺租界，張蔭桓站在保衛(wèi)國家利益的立場上極力反對，表現(xiàn)了他強烈的愛國精神。光緒十一年(1885)，在美國的二百多名華工被燒殺，當年原來的駐美公使鄭藻如長期索賠卻沒有結(jié)果，朝廷特派張蔭垣出任美日秘三國大臣去美國交涉。當他乘船至三藩市入境的時候，遭遇到美國海關官員的刁難。他嚴辭斥責：“你關員小吏，有何資格索觀國書！”同時致電美國外交部抗議。美國海關關員被他的強硬折服，慌忙賠禮道歉，放他過關。他與美方多次談判、不屈不饒，終于為勞工獲得十四萬七千多墨西哥銀元的賠償，而且讓外國也不敢再隨意殺害華人。

甲午海戰(zhàn)之后，為處理有關戰(zhàn)爭事宜，清政府在兩個月時間三度派戶部大員張蔭桓蒞臨天津。 他與日本駐華公使林董會議中日商約中，張蔭桓據(jù)理力爭，達成通商行船二十九款。

每次歸來，他都要向皇上匯報國外見聞，并多次提出加強軍備，鞏固邊防的強國之道，得到光緒皇帝的信任，先后兼署工、刑、兵、禮、吏部五部侍郎，又主管京師礦務鐵路總局，權(quán)重一時。能擔任那么些重任的，過去都非翰林、進士出身不授的，而他本無科名，只是捐班出生，卻膽大心細，鋒芒畢露，他既批評李鴻章的外交政策愚不可及，又讓翁同龢等大臣在總理衙門的事物也要聽他的最后決定，盡管被人稱贊為“精強敏贍，殊出意表”， “警敏剮決，有冠世之才”，但也被人謗“為人驕泰，務攬權(quán)”。

光緒二十四年(1898)戊戌變法時，張蔭桓調(diào)任管理京師礦務總局，因他支持康有為的《諸勵工藝獎募創(chuàng)新析》，又是康有為同鄉(xiāng)，兩人交往密切。變法失敗后，居然到他家搜捕康有為，盡管未果，但也以同黨罪，詔捕六君子的第二天，他就被逮捕了。本來，他要與六君子同時處死的，但由于他在外事活動中辦事得體，在外國駐華使節(jié)中有威望較高，英日公使出面干涉而未有被殺，改判流放新疆。

1900年義和團起義，因張蔭桓在變法期間提過“修內(nèi)政以戢民志，治團練以裕兵力”的主張，被其政敵利用，假傳圣旨，當事者電令新疆巡撫置張氏死于戍所，處以極刑。”他成為戊戌變法運動中受害的第一位清政府大員，事后才得以平反，追復原官。

張蔭桓才具非凡，著作頗豐：《張蔭桓戊戌日記手稿》（1898年1月22日--8月22日），是他在“戊戌變法”后他被捕前32天的見聞與行事，都是他親歷的重要史事，還有《英軺日記》，《奉使日記》，《甲午日記》等有重要的歷史價值，現(xiàn)在只有《鐵畫樓詩集》及《三洲日記》等遺著流傳后世。