紹英本姓馬佳氏，滿洲鑲黃旗人。始祖馬穆敦公曾在一個叫馬佳的地方安家，于是以地名為姓，至今已經(jīng)有500多年了，現(xiàn)在在沈陽還有馬佳氏祠堂。始祖生一子黑德莫爾根，為二世祖；二世祖生了19個兒子，第三子奇普圖是三世三祖，紹英是三世三祖的第十四代孫。

馬佳氏枝繁葉茂，人口眾多。紹英的爺爺升寅進京趕考后，一直定居在朝陽門內(nèi)南小街新鮮胡同。紹英祖上出過輔佐大清有功的大將軍圖海、禮部尚書升寅。馬佳氏家族中最有名的，是三世五祖第九代孫圖海。圖海從順治朝開始就輔佐清朝，做過大學士、議政大臣等。他擅長帶兵打仗，康熙時期，被授正黃旗滿洲都統(tǒng)，曾先后作為定西將軍和撫遠大將軍，鎮(zhèn)壓過李自成余部和吳三桂等，是清朝的有功之臣，載入清史。他死后，雍正皇帝追封他為一等忠達公，配享太廟，子襲爵位�，F(xiàn)在他的牌位還和清朝的王爺一起供在太廟里，在清宮影視劇中也能看到他的形象。升寅，是三世三祖的第十二代孫。乾隆時期他進京趕考，當了禮部一個七品小官，在新鮮胡同買下了一套舊房，從此在北京安了家。升寅3歲喪父，母親帶著他在舅舅家長大。他天資不好，大器晚成，小時候還口吃。他自己曾寫道：“余三十歲以前患口吃，語言不能了了，四十后則漸愈。”是舅舅一手培養(yǎng)了他，從七品小官開始，逐漸擔任御史都統(tǒng)、翰林院學士、禮部尚書等要職。升寅為人正派，做事一絲不茍，深得皇帝信任，他死后被賜謚號勤直。也是從他那輩開始，我們這支才逐漸發(fā)揚光大。升寅有兩個兒子，長子寶琳是保定府知府，二子寶珣是奉天府尹、盛京將軍。寶琳有5個兒子，而寶珣無后，于是寶琳就把最小的兒子過繼給寶珣，這個最小的孩子就是紹英。紹英有兩個兒子，長子世杰，次子世良，可他的哥哥紹彝卻沒有孩子，于是世良又被過繼給了紹彝。

紹英有記日記的習慣，一共寫了70多本，記錄當時的官場生活，甚至每次皇帝的賞項和進奉也都一一記錄下來。通過這些日記，可以了解很多當年不為人知的事情，其后人還保存著30多本。