胡素斐生于1920年，于1925年不幸夭折。

父親胡適

胡適（1891.12.17—1962.2.24），漢族，安徽績溪人�，F(xiàn)代著名學者、詩人、歷史學家、文學家、哲學家。因提倡文學革命而成為新文化運動的領(lǐng)袖之一。原名嗣穈，學名洪骍，字希疆，后改名胡適，字適之，筆名天風、藏暉等，其中，適與適之之名與字，乃取自當時盛行的達爾文學說“物競天擇，適者生存”典故。

母親江冬秀

江冬秀（1890—1975），著名學者與文學大師胡適之妻。安徽旌德縣江村人，江家是旌德縣的望族。江冬秀的外祖父曾位至翰林，其舅母是胡適的姑婆。

哥哥胡祖望

胡祖望（1919-2005），旅居美國。

弟弟胡思杜

胡思杜（1921-1957），留在中國大陸，1954年被迫與胡適斷絕父子關(guān)系，但仍被斗爭，后于1957年反右運動中自殺身亡。