出生于長野縣更級郡信里村（現(xiàn)長野市）。因為老家位于深山中的緣故，因此小山清茂小時候并沒有接觸任何西洋音樂。對他小時候影響最大的的音樂，主要為村中祭典的音樂，以及村民們即興演唱的歌謠。上小學的高年級時，他接觸了村附近的陸軍戶山學校軍樂隊，這些音樂在他的心中留下來了非常強烈的印象。

1933年，畢業(yè)于長野師范學校后，他以教師的身份在長野縣內(nèi)任教，并同時開始學習作曲。1939年至1943年，小山清茂師從安部幸明。在此期間，他又任豐島區(qū)長崎第五國民學校的勤務人員（1941年）以及東京都教員管弦樂團的長笛演奏員。在擔任演奏員的同時，他又熟識了東京都教員管弦樂團的指揮渡邊浦人，并借此機會熟悉了管弦樂團里的各種樂器以及音色。1946年，小山以管弦樂作品《信濃囃子》奪得日本第十四回音樂大賽的第一名，從此開始，他的技法也漸漸地成熟了起來。

1950年，小山清茂與渡邊浦人、渡邊茂、平井康三郎、山本直忠、金井喜久子、石井五郎共同創(chuàng)立了“白濤會”，又與1956年與深井史郎和貴島清彥創(chuàng)立了“新音樂集團”——前者的目的主要是以日本的主題作曲，而后者的目的則是用日本的民族音樂語言來創(chuàng)造新的音樂作品。1969年起擔任神戶山手女子短期大學的教授。1971年，與中西覺創(chuàng)立了“田螺作曲集團”（たにしの會），以用來整理與研究日本音樂的調(diào)式與和聲。1981年起與作曲家柴田南雄共同擔任尚美音樂短期大學的作曲系教授。1986年起任職于國立音樂大學的音樂研究所。小山清茂同時還是日本作曲家協(xié)議會的會員。雖然小山是一名民族主義者，但是他從三十歲——即日本帝國主義統(tǒng)治結(jié)束之后，才開始正式的作曲生涯。

音樂劇《楢山節(jié)考》（楢山節(jié)考，1959年）

歌劇《山椒大夫》（山椒大夫，1972年）