少失父，慈母在艱難困苦中精心撫養(yǎng)，督促為學(xué)。嘉靖三十四年（1555）廩于官（由官府供養(yǎng)膳食），四十三年（1564）補(bǔ)為府學(xué)生。萬歷初年登副榜貢生，因奉養(yǎng)寡母而未仕。數(shù)年后母逝，補(bǔ)湖北江陵教諭，倡學(xué)興教，諸生感勵。

回鄉(xiāng)后大興善舉，捐資修建潛（泉）水橋和善橋（又名土橋）。特別是萬歷三十五年（1607），時逢修建德山文鋒塔（后更名孤峰塔），妖言四起，經(jīng)費(fèi)虧空，工程久拖不竣，他一面慷慨解囊，帶動邑人捐資，一面呈文官府，請撥公款。在其多方努力之下，終于建成此塔。清乾隆十一年（1746）、光緒八年（1882）仿舊制兩次改建，高16米，底部直徑3.5米，磚石結(jié)構(gòu)，七級八面，甚為壯觀。“文革”中被毀。1986年重建，成為“常德德山山有德”的象征。

楊時芳卒于明萬歷四十七年（1619），享年73歲。累贈大學(xué)士、兵部尚書。