出生在圖林根的小貴族家庭，早年加入 條頓騎士團，可能曾經(jīng)歷從移民互助團體到騎士團的轉(zhuǎn)變（1198年）。完全憑個人能力1210年獲得條頓騎士團大團長職務(wù)。他與巴伐利亞公爵路易率大隊騎士團及盟軍支援埃及境內(nèi)的 第五次十字軍東征，但他的軍隊和部分十字軍在企圖渡過艾什蒙運河的時候戰(zhàn)敗，被迫投降。

1225年幫助協(xié)調(diào)了丹麥國王 瓦爾德馬二世和什末林 黑伯爵亨立克之間的關(guān)系，因而增強了帝國在易北河下游的領(lǐng)土和帝國在丹麥的影響力。在擔任 神圣羅馬帝國皇帝 腓特烈二世的外交官和顧問的時候，他贏得了皇帝的信任和支持。在十字軍東征失敗后，身為大團長的赫爾曼開始將他的騎士團，從基督教化和軍事活動由機會不多的中東地區(qū)，移到相對更容易獲得財富的東歐地區(qū)。

他在匈牙利進行的第一次軍事行動失敗了，騎士團于1225年被趕出那個地區(qū)，但是，此后不久的1526年，他應(yīng)東波蘭馬佐維亞的康德拉的邀請，騎士團前去征服 維斯瓦河的普魯士人并使他們改變信仰，康拉德將該地區(qū)庫爾姆省一大片土地賜封給騎士團。皇帝腓特烈二世也給他頒發(fā)了一個特許狀，準許騎士團對普魯士人傳教并擁有統(tǒng)治權(quán)。

1233年赫爾曼發(fā)動了一次全面的攻勢，在騎士團行省團長H·巴爾克的指揮下征服了普魯士，1228年他還參加了腓特烈二世的 第六次十字軍東征，和平占領(lǐng)耶路撒冷。

1230年，他在調(diào)解腓特烈二世與教皇 格列高利九世的沖突中起了關(guān)鍵的作用，

1235年，他又協(xié)助解決皇帝與反叛的長子亨利之間的沖突，。由于受到皇帝與教皇雙方的信任，他使騎士團的勢力達到登峰造極的地步。由于采取了富有遠見的政策，他時騎士團在普魯士建立了一個強盛的封建國家，一直維持到15世紀中葉轉(zhuǎn)化成世俗的 普魯士公國。

1239年3月19日赫爾曼·馮·薩爾扎卒于阿普利亞的 巴勒莫。他到死都是皇帝的鐵桿心腹。