出生于長(zhǎng)野縣更級(jí)郡信里村（現(xiàn)長(zhǎng)野市）。因?yàn)槔霞椅挥谏钌街械木壒�，因此小山清茂小時(shí)候并沒(méi)有接觸任何西洋音樂(lè)。對(duì)他小時(shí)候影響最大的的音樂(lè)，主要為村中祭典的音樂(lè)，以及村民們即興演唱的歌謠。上小學(xué)的高年級(jí)時(shí)，他接觸了村附近的陸軍戶(hù)山學(xué)校軍樂(lè)隊(duì)，這些音樂(lè)在他的心中留下來(lái)了非常強(qiáng)烈的印象。

1933年，畢業(yè)于長(zhǎng)野師范學(xué)校后，他以教師的身份在長(zhǎng)野縣內(nèi)任教，并同時(shí)開(kāi)始學(xué)習(xí)作曲。1939年至1943年，小山清茂師從安部幸明。在此期間，他又任豐島區(qū)長(zhǎng)崎第五國(guó)民學(xué)校的勤務(wù)人員（1941年）以及東京都教員管弦樂(lè)團(tuán)的長(zhǎng)笛演奏員。在擔(dān)任演奏員的同時(shí)，他又熟識(shí)了東京都教員管弦樂(lè)團(tuán)的指揮渡邊浦人，并借此機(jī)會(huì)熟悉了管弦樂(lè)團(tuán)里的各種樂(lè)器以及音色。1946年，小山以管弦樂(lè)作品《信濃囃子》奪得日本第十四回音樂(lè)大賽的第一名，從此開(kāi)始，他的技法也漸漸地成熟了起來(lái)。

1950年，小山清茂與渡邊浦人、渡邊茂、平井康三郎、山本直忠、金井喜久子、石井五郎共同創(chuàng)立了“白濤會(huì)”，又與1956年與深井史郎和貴島清彥創(chuàng)立了“新音樂(lè)集團(tuán)”——前者的目的主要是以日本的主題作曲，而后者的目的則是用日本的民族音樂(lè)語(yǔ)言來(lái)創(chuàng)造新的音樂(lè)作品。1969年起擔(dān)任神戶(hù)山手女子短期大學(xué)的教授。1971年，與中西覺(jué)創(chuàng)立了“田螺作曲集團(tuán)”（たにしの會(huì)），以用來(lái)整理與研究日本音樂(lè)的調(diào)式與和聲。1981年起與作曲家柴田南雄共同擔(dān)任尚美音樂(lè)短期大學(xué)的作曲系教授。1986年起任職于國(guó)立音樂(lè)大學(xué)的音樂(lè)研究所。小山清茂同時(shí)還是日本作曲家協(xié)議會(huì)的會(huì)員。雖然小山是一名民族主義者，但是他從三十歲——即日本帝國(guó)主義統(tǒng)治結(jié)束之后，才開(kāi)始正式的作曲生涯。

音樂(lè)劇《楢山節(jié)考》（楢山節(jié)考，1959年）

歌劇《山椒大夫》（山椒大夫，1972年）