胡穆，余姚縣柏山人。柏山胡氏是名門(mén)世家之后，有著良好的文化底蘊(yùn)。北宋慶歷間，胡穆就高中進(jìn)士，這是有史記載的宋代余姚第一位進(jìn)士。

胡氏的先世居住在豫章奉新縣的華林（今屬江西省奉新縣）。唐朝末年，華林胡瓊出仕為常州刺史，于是在常州晉陵縣（今屬江蘇省常州市）安家落戶(hù)。五代時(shí)期，江淮多戰(zhàn)亂，江南則相對(duì)安定富庶。后周世宗顯德二年（955年），胡瓊之孫胡從自晉陵縣安上鄉(xiāng)胡橋村，輾轉(zhuǎn)遷到余姚縣柏山。