从征河北，为军市令。刘秀的舍中儿(家奴)犯了法，祭遵把他杀了。刘秀发怒，令将祭遵拘捕。这时主簿陈副劝谏说:"明公常想要众军整齐，现在祭遵奉行法令不避权势，正是教化法令所需要的哩。"刘秀就赦免了他，令他为刺奸将军。对诸将说":对祭遵要多加小心!我舍中儿犯法他照样杀了，对你们是绝不会徇私的。"不久又拜偏将军，跟从平定河北，以功封为列侯。
建武二年(26年)春，拜为征虏将军，定封颍阳侯。与骠骑大将军景丹、建义大将军朱佑、汉忠将军王常、骑都尉王梁、臧宫等入箕关，南击弘农、厌新、柏华蛮中贼。祭遵中了弩箭，伤口流血，众人看到祭遵受伤，逐渐引退，祭遵呼叫斥骂不止，士卒都加倍苦战，于是大破贼兵。当时新城蛮中山贼张满，屯结兵士于险要之处为害人民，诏令祭遵去攻击，祭遵断绝了张满的粮道，张满几次挑战，祭遵坚守壁垒不出。而厌新、柏华的残余重新与张满会合，于是攻下了霍阳聚，祭遵于是分兵予以击破迫其投降。
建武三年(27年)春，张满饥饿困倦，祭遵攻破其城，活捉张满。起初，张满祭祀天地，自己说当为王，既被捉，叹道":谶文误了我!"于是把他及其妻子儿女都斩了。祭遵引兵南击邓奉弟邓终于杜衍，攻破了。
时涿郡太守张丰捉住使者举兵造反，自称无上大将军，与彭宠连兵。建武四年(28年)，祭遵与朱佑及建威大将军耿弇、骁骑将军刘喜共同攻击张丰。祭遵兵先到，急攻张丰，张丰的功曹孟厷捉住张丰投降。起初，张丰喜好方术，有道士说张丰当做天子，以五彩囊裹着石头系在张丰的肘子上，说石中有玉玺。
张丰相信了，就造反。既被捉当斩，他还说:"肘有玉玺。"祭遵将其石椎破，张丰才知被道士骗了，仰天叹道:"当死无所恨!"诸将都引回，祭遵受诏命留屯良乡抵拒彭宠。因而派遣护军傅玄袭击彭宠部将李豪于潞，大破其军，斩首千余级。相拒一年多，几次挫败其锋，彭宠党徒许多都投降。等到彭宠死，祭遵进军以平定其地。
