他八歲到少林寺出家，跟從師父資云，后遍訪叢林，參學問法，佛法日精。北齊朝庭授予他“斷事沙門”，負責處理僧人違反佛教戒律之事。隋時，文帝也封洪遵為官，但他仍住在少林寺內(nèi)。隋文帝開皇七年（587年），洪遵被舉召赴京，與天竺僧一起翻譯佛經(jīng)，后受敕命為眾僧講律宗，為一代律宗大師。