出生于華盛頓首府，他說他的名字來自于Hamilton Fish，一個遠(yuǎn)親。他老爸比他媽媽大43歲，當(dāng)Fish出生時，他老爸已經(jīng)75歲高齡。Fish 是家里最小的孩子，他有三個兄長分別是：Walter，Annie和Edwin。在一個哥哥去世后，他希望自己被叫做Albert，以此來逃避他的小名：Ham&Eggs。這個小名是在孤兒院里取的，就是在這個孤兒院里頭他度過了大部分童年時期。

他的家族有精神病史：他叔叔有宗教狂熱癥，一個哥哥住在州精神病院中，另一個哥哥死于腦積水，他的姐姐也有精神疾病。另外三個近親都被各種各樣的精神疾病折磨著，他老媽也被認(rèn)為有經(jīng)常性發(fā)作的幻嗅（在嗅覺上出現(xiàn)幻覺）和幻視。

他老爸是個船長，但是自他出生之后，他就改行干起了化肥生產(chǎn)。

大兒子1875年去世之后，F(xiàn)ish的媽媽被迫去找工作。因為不能照看她的孩子，她把Fish放到了華盛頓的圣約翰孤兒院，在那里，他經(jīng)常不得不隨著其他男孩一起，脫光衣服，挨個被老師當(dāng)眾抽打。最后，他終于開始享受起疼痛和當(dāng)眾抽打，這給他帶來性快感，而這又引來了孤兒們對他的嘲笑。

10歲時，他媽媽在政府機(jī)關(guān)謀到了工作，能夠照顧他了。12歲時，他的朋友帶他去公共澡堂，在那里他看到了其他男孩光著身子的樣子。于是有不少周末，他都去那兒。他也是個大色鬼，極其喜歡給婚慶公司和私人廣告上提到名字的女性寫黃色信件。

20歲時他到了紐約，成了個男妓，他承認(rèn)他開始雞奸男童，1898年，F(xiàn)ish與一位比他小九歲的女孩結(jié)了婚，他們有六個孩子。

即使從1898年開始成了個油漆工，他還是繼續(xù)猥褻兒童，大部分男孩都不滿六歲。后來他說起一個男伴帶他去蠟像館，在那兒被一個斷成兩截的陰莖吸引，很快他就陷入了畸形的閹割癖中。在與一個弱智男人的交往中，F(xiàn)ish在把他包裹起來之后試圖閹割他，但男人的尖叫把Fish嚇住了，他扔給那倒霉蛋十美元然后逃之夭夭。之后Fish更經(jīng)常的光顧妓院，在那兒他能被人鞭打。1903年他因盜用公款被捕，關(guān)押在紐約州新新監(jiān)獄。

1917年他的第一任老婆跑了，扔下六個孩子讓他照顧。在這次拋棄事件之后，F(xiàn)ish開始出現(xiàn)幻聽。有一次他把自己裹在地毯里，聲稱是圣徒約翰的指示。就在這一段日子，F(xiàn)ish開始自虐。他把釘子釘入自己的腹股溝，原先不久后他會把釘子拔出來，但后來他釘?shù)锰�深了，根本不可能拔出來。后來的X光片顯示Fish在他的骨盆處釘了至少29根釘子，他還用錘子反復(fù)錘過自己。

55歲時，F(xiàn)ish開始產(chǎn)生幻覺和幻聽，他認(rèn)為是上帝指示他折磨并閹割小男孩。醫(yī)生診斷他得了一種宗教性質(zhì)的精神病。