胡素斐生于1920年，于1925年不幸夭折。

父親胡適

胡適（1891.12.17—1962.2.24），漢族，安徽績溪人�，F(xiàn)代著名學(xué)者、詩人、歷史學(xué)家、文學(xué)家、哲學(xué)家。因提倡文學(xué)革命而成為新文化運(yùn)動(dòng)的領(lǐng)袖之一。原名嗣穈，學(xué)名洪骍，字希疆，后改名胡適，字適之，筆名天風(fēng)、藏暉等，其中，適與適之之名與字，乃取自當(dāng)時(shí)盛行的達(dá)爾文學(xué)說“物競天擇，適者生存”典故。

母親江冬秀

江冬秀（1890—1975），著名學(xué)者與文學(xué)大師胡適之妻。安徽旌德縣江村人，江家是旌德縣的望族。江冬秀的外祖父曾位至翰林，其舅母是胡適的姑婆。

哥哥胡祖望

胡祖望（1919-2005），旅居美國。

弟弟胡思杜

胡思杜（1921-1957），留在中國大陸，1954年被迫與胡適斷絕父子關(guān)系，但仍被斗爭，后于1957年反右運(yùn)動(dòng)中自殺身亡。