生于弗吉尼亞阿靈頓，畢業(yè)于哈佛大學(xué)，1857年參加美國陸軍，南北戰(zhàn)爭爆發(fā)后，加入南方聯(lián)盟軍，任騎兵連連長，1862年晉升陸軍準(zhǔn)將，曾參加半島戰(zhàn)役、第二次布爾溪、弗雷德里克堡、錢瑟勒斯維爾等軍事行動。1863年在布蘭迪車站之戰(zhàn)中受傷被俘，一年后返回南方聯(lián)盟，晉升陸軍少將。1875-1879年任弗吉尼亞州參議員，后任國會眾議院。

威廉是美利堅(jiān)聯(lián)盟國總司令羅伯特·愛德華·李和瑪麗·安娜·卡斯蒂斯·李的二兒子、美利堅(jiān)聯(lián)盟國將軍、華盛頓與李大學(xué)校長喬治·華盛頓·卡斯蒂斯·李的弟弟。