謝爾曼1888年出生于 密歇根州 休倫港。他的祖父，羅蘭·謝爾曼，是休倫港 每日時報的資深編輯和發(fā)行人。他的父親，弗雷德里克·沃德·謝爾曼，1907年開始出售報紙并于1911年搬到 加利福尼亞州，在 圣巴巴拉擔任獨立日報的編輯和出版商。1910年，謝爾曼從 美國海軍學院畢業(yè)，開始服役于 美國海軍。

在 第一次世界大戰(zhàn)期間，他先后指揮潛艇H-2（SS-29）和O-2（SS-63），大多數時間都在本土巡邏以及偶爾負責救援。

成為一名海軍飛行員后，謝爾曼1937年-1938年擔任 薩拉托加號航空母艦（CV-3）的艦長以及 圣迭戈海軍航空兵基地指揮官。

1940年，謝爾曼擔任 列克星敦號航空母艦（CV-2）艦長。1942年3月列克星敦號（CV-2）與 約克城號（CV-5）中止對 拉包爾的突襲，駛入 珊瑚海，襲擊了 新幾內亞島日軍占領的 萊城和薩拉莫阿，,26日返回 珍珠港。美國破譯日本即將進攻 莫爾茲比港的計劃后，4月15日，列克星敦號作為第11特混艦隊旗艦的離開珍珠港。5月1日，與17特混艦隊的約克城號在珊瑚海匯合。5月7日，列克星敦號與約克城號的艦載機擊沉了日本聯(lián)合艦隊的祥鳳號輕型航空母艦，5月8日，在與聯(lián)合艦隊第五航空戰(zhàn)隊的海戰(zhàn)中，列克星敦號與約克城號的艦載機合力擊傷了 翔鶴號航空母艦，并且 瑞鶴號航空母艦也嚴重減員，致使第五航空戰(zhàn)隊無法參加 中途島戰(zhàn)役。列克星敦號至少被命中了兩條魚雷和三顆炸彈，盡管火勢一度得到控制，但列克星敦號因航空汽油滲漏汽油蒸汽逐漸蔓延引起大爆炸而被摧毀，隨后列克星敦號不得不被放棄，于當日20時左右沉沒。

謝克星敦號損失后，謝爾曼回到了本土。被晉升為海軍少將之后，他擔任海軍上將 歐內斯特·金的助理參謀長直到1942年年底。

1943年，在 哈爾西的建議下，他開始在快速航母特遣艦隊任職，1944年-1945年指揮第38.3特遣艦隊，參加了太平洋戰(zhàn)爭中后期許多重要的戰(zhàn)役。 1945年9月2日，謝爾曼在停泊在東京灣的 密蘇里號戰(zhàn)列艦上參加了日本簽署投降文件儀式。

謝爾曼1945年晉升為海軍中將，1946年成為美國海軍第五艦隊司令，1947年退役。1957年7月27日逝世于加利福尼亞州圣迭戈。 　　

謝爾曼寫了一本名叫《作戰(zhàn)指揮》（Combat Command）的書，描述了他在太平洋戰(zhàn)爭中的經歷。1950年，此書由E.P.達頓公司出版，1982年由 矮腳雞圖書公司再次出版。

為了紀念謝爾曼，1961年1月11日，加尼福尼亞州 圣克利門蒂島新建成的機場被命名為弗雷德里克·謝爾曼機場。