裴行俭，绛州闻喜人。唐贞观中，举明经， 拜左屯卫仓曹参军。苏定方大将军甚奇之，尽以用兵奇术授行俭。
时高宗将废皇后王氏而立武昭仪，行俭以为国家忧患必从此始。
麟德二年，累拜安西大都护，拜 司文少卿。迁吏部侍郎，与李敬玄为贰，同时典选十余年，甚有能名，时人称为裴、李。
吐蕃背叛，诏行俭为洮州道左二军总管。寻又为泰州镇抚右军总管。
仪凤二年，十姓可汗阿史那匐延都支及李遮匐扇动蕃落，侵逼安西，连和吐蕃，议者欲发兵讨之。行俭建议曰：“吐蕃叛涣，干戈未息， 敬玄、审礼，失律丧元，安可更为西方生事？今波斯王身没，其子泥涅师师充质在 京，望差使往波斯册立，即路由二蕃部落，便宜从事，必可有功。”高宗从之，因 命行俭册送波斯王，仍为安抚大食使。途经莫贺延碛，属风沙晦暝，导者益迷。行 俭命下营，虔诚致祭，令告将吏，泉井非遥。俄而云收风静，行数百步，水草甚丰， 后来之人，莫知其处。众皆悦服，比之贰师将军。至西州，人吏郊迎，行俭召其豪 杰子弟千余人随己而西。乃扬言绐其下曰：“今正炎蒸，热坂难冒，凉秋之后，方 可渐行。”都支觇知之，遂不设备。行俭仍召四镇诸蕃酋长豪杰谓曰：“忆昔此游， 未尝厌倦，虽还京辇，无时暂忘。今因是行，欲寻旧赏，谁能从吾猎也？”是时蕃 酋子弟投募者仅万人。行俭假为畋游，教试部伍，数日，遂倍道而进。去都支部落 十余里，先遣都支所亲问其安否，外示闲暇，似非讨袭，续又使人趣召相见。都支 先与遮匐通谋，秋中拟拒汉使，卒闻军到，计无所出，自率兒侄首领等五百余骑就 营来谒，遂擒之。是日，传其契箭，诸部酋长悉来请命，并执送碎叶城。简其精骑， 轻赍晓夜前进，将虏遮匐。途中果获都支还使，与遮匐使同来。行俭释遮匐行人， 令先往晓喻其主，兼述都支已擒，遮匐寻复来降。于是将吏已下立碑于碎叶城以纪 其功，擒都支、遮匐而还。高宗廷劳之曰：“比以西服未宁，遣卿总兵讨逐，孤军 深入，经途万里。卿权略有闻，诚节夙著，兵不血刃，而凶党殄灭。伐叛柔服，深 副朕委。”寻又赐宴。谓行俭曰：“卿文武兼资，今故授卿二职。”即日拜礼部尚 书，兼检校右卫大将军。
调露元年，突厥阿史德温傅反，单于管内二十四州并叛应之，众数十万。单于 都护萧嗣业率兵讨之，反为所败。于是以行俭为定襄道行军大总管，率太仆少卿李 思文、营州都督周道务等部兵十八万，并西军程务挺、东军李文暕等总三十余万， 连亘数千里，并受行俭节度。唐世出师之盛，未之有也。行俭行至朔州，知萧嗣业 以运粮被掠，兵多馁死，遂诈为粮车三百乘，每车伏壮士五人，各赍陌刀、劲弩， 以羸兵数百人援车，兼伏精兵，令居险以待之。贼果大下，羸兵弃车散走。贼驱车 就泉水。解鞍牧马，方拟取粮，车中壮士齐发，伏兵亦至，杀获殆尽，余众奔溃。 自是续遣粮车，无敢近之者。及军至单于之北，际晚下营，壕堑方周，遽令移就崇 冈。将士皆以士众方就安堵，不可劳扰，行俭不从，更令促之。比夜，风雨暴至， 前设营所水深丈余，将士莫不叹伏。贼众于黑山拒战，行俭频战皆捷，前后杀虏不 可胜数。伪可汗泥熟匐为其下所杀，以其首来降，又擒其大首领奉职而还。余党走 依狼山。行俭既回，阿史那伏念又伪称可汗，与温傅合势，鸠集余众。明年，行俭 复总诸军讨之。顿军于代州之陉口，纵反间说伏念与温傅，令相猜贰。伏念恐惧， 密送降款，仍请自效。行俭不泄其事，而密表以闻。数日，有烟尘涨天而至，斥候 惶惑来白，行俭召三军谓曰：“此是伏念执温傅来降，非他。然受降如受敌，但须 严备。”更遣单使迎前劳之。少间，伏念果率其属缚温傅诣军门请罪，尽平突厥余 党。高宗大悦，遣户部尚书崔知悌赴军劳之。
行俭尤晓阴阳、算术，兼有人伦之鉴。自掌选及为大总管，凡遇贤俊，无 不甄采，每制敌摧凶，必先期捷日。时有后进杨炯、王勃、卢照邻、骆宾王并以文 章见称，吏部侍郎李敬玄盛为延誉，引以示行俭，行俭曰：“才名有之，爵禄盖寡。 杨应至令长，余并鲜能令终。”是时，苏味道、王剧未知名，因调选，行俭一见， 深礼异之。仍谓曰：“有晚年子息，恨不见其成长。二公十数年当居衡石，愿记识 此辈。”其后相继为吏部。皆如其言。行俭尝所引偏裨，有程务挺、张虔勖、崔智 辩、王方翼、党金毗、刘敬同、郭待封、李多祚、黑齿常之，尽为名将，至刺史、 将军者数十人。其所知赏，多此类也。
行俭尝令医人合药，请犀角、麝香，送者误 遗失，已而惶惧潜窜。又有敕赐马及新鞍，令史辄驰骤，马倒鞍破，令史亦逃。行 俭并委所亲招到，谓曰：“尔曹岂相轻耶？皆错误耳。”待之如故。初，平都支、 遮匐，大获瑰宝，蕃酋将士愿观之，行俭因宴设，遍出历示。有马脑盘，广二尺余， 文彩殊绝。军吏王休烈捧盘，历阶趋进，误蹑衣，足跌便倒，盘亦随碎，休烈惊惶， 叩头流血，行俭笑而谓曰：“尔非故也，何至于是！”更不形颜色。
高宗以行俭工于草书。尝以绢素百卷，令行俭草书《文选》一部，帝览之称善。行俭尝谓人曰：“褚遂良非精笔佳墨，未尝辄书，不择笔墨而妍捷者，唯余及虞世南耳。”
