任知古盡管任知古身居高位，但他的家世和拜相前的仕途幾無(wú)記載。作為宰相，《舊唐書》和《新唐書》反常地都沒(méi)有他的傳，他甚至沒(méi)有被列入宰相世系中的任氏表。

691年，任知古在鳳閣侍郎任上被武則天授同鳳閣鸞臺(tái)平章事，為實(shí)質(zhì)宰相。次年，他和宰相狄仁杰、裴行本、司禮卿崔宣禮、前文昌左丞盧獻(xiàn)、御史中丞魏元忠、潞州刺史李嗣真被武則天手下酷吏來(lái)俊臣彈劾謀反。由于狄仁杰將一份表章藏在衣物中讓家人帶回，得以向武則天澄清眾人并未謀反，眾人免于一死，但仍被流放。任知古被貶為江夏縣令。此后，史書沒(méi)有關(guān)于他的進(jìn)一步記載。