杜幼文，杜驥第五子，京兆杜陵人也，薄于行。太宗初，以軍功為驍騎將軍，封邵陽縣男，食邑三百戶。尋坐巧佞奪爵。后以發(fā)太尉廬江王劉祎謀反事，拜黃門侍郎。出為輔國將軍、梁、南秦二州刺史。廢帝元徽中，為散騎常侍。

幼文所蒞貪橫，家累千金，女伎數(shù)十人，絲竹晝夜不絕，與沈勃、孫超之居止接近，常相從，又并與阮佃夫厚善。佃夫死，廢帝深疾之。帝微行夜出，輒在幼文門墻之間，聽其弦管，積久轉(zhuǎn)不能平，于是自率宿衛(wèi)兵誅幼文、勃、超之等。幼文兄叔文為長(zhǎng)水校尉，及諸子侄在京邑方鎮(zhèn)者并誅。唯幼文兄季文、弟希文等數(shù)人，逃亡得免。