早年入吉林陵軍小學(xué)、清河陵軍第一預(yù)備學(xué)校、保定軍校第三期炮兵科學(xué)習(xí)。曾在東北軍任職。后赴日本陸軍大學(xué)深造。1928年12月任東北邊防司令長官公署軍令廳少將處長。1936年任國民革命軍參謀本部第二廳廳長，并晉升為陸軍中將。抗戰(zhàn)中任第五戰(zhàn)區(qū)長官部參謀長、中央軍校第八分校主任、陸軍大學(xué)兵學(xué)研究院主任等職后到臺灣。徐祖詒小時候當(dāng)時由于家境窘迫，少小離家先后考入吉林陸軍小學(xué)、清河陸軍第一預(yù)備學(xué)校學(xué)習(xí)軍事。1914年又考入保定軍官學(xué)校第三期炮科。畢業(yè)后被派往日本留學(xué)。在日本士官學(xué)校畢業(yè)后進入日本陸軍大學(xué)深造。學(xué)成歸國后在張學(xué)良手下任職，當(dāng)過保安司令部的科長、處長等，深受張學(xué)良的器重和信任。1928年，作為張學(xué)良的代表，與邢士廉等人到北京，與國民政府代表白崇禧商議東北易幟之事。徐祖詒充分利用與白崇禧在保定軍官學(xué)校的同學(xué)關(guān)系使洽談得以順利進行，雙方和平統(tǒng)一終獲成功。經(jīng)歷這一重大事件徐祖詒初露頭角，顯示出較強的談判才能和較好的軍事天賦，得到國民政府的賞識和重用。1931年，“九·一八”事變后，徐祖詒被任命為國民政府陸�？哲娍偹玖畈繀⒅\本部第一廳少將副廳長。1936年調(diào)任參謀本部第二廳少將廳長，掌管對敵情報，對外宣傳和聯(lián)絡(luò)外國武官等方面工作。由于業(yè)績突出，不久就被晉升為中將。1976年2月15日在臺中病逝。

1937年“七七事變”以后，日本帝國主義掀起了全面侵華戰(zhàn)爭，中國人民奮起抗戰(zhàn)。當(dāng)時，國民政府將全國劃分為若干戰(zhàn)區(qū)。其中第五戰(zhàn)區(qū)以徐州為中心，包括江蘇、安徽、山東及河南部分地區(qū)，控制隴海鐵路與津浦鐵路交會處，地理位置非常重要，是兵家必爭之地。第五戰(zhàn)區(qū)由李宗仁任司令，徐祖詒任參謀長，先期前往徐州組建第五戰(zhàn)區(qū)司令部，調(diào)集各路軍隊布防，這時日本侵略者已經(jīng)大軍壓境，形勢十分危急。 1938年春，日軍板垣、磯谷兩個師團沿津浦鐵路南下，欲形成南北夾擊之勢，強行打通津浦線。當(dāng)時，上海、南京等大城市已經(jīng)相繼淪陷，臨沂被困，守軍龐炳勛兵團岌岌可危。徐祖詒受李宗仁委派，偕同張自忠等率部增援。為了消除龐、張宿怨，徐祖詒從中斡旋，勸他們以國事為重，共同退敵，他還制定作戰(zhàn)計劃，協(xié)調(diào)各軍，內(nèi)外夾擊日軍。經(jīng)過5晝夜血戰(zhàn)，痛殲日寇，取得了戰(zhàn)役的勝利。4月，徐祖詒又協(xié)助李宗仁殲滅了以“鐵軍”自夸的日軍磯谷師團，取得了震驚中外的臺兒莊戰(zhàn)役的勝利。