汉武帝时期，卫青与霍去病是两颗最耀眼的将星，解决了汉王朝多年以来的匈奴边患。元狩六年，霍去病英年早逝，武帝的巅峰时代也就随之消逝，再出于政治、经济等方面考虑，也并未让卫青继续出击匈奴，但对外的作战趋于缓和，对内的斗争越就激烈。
应该说武帝对霍去病的死很是痛惜，所以对霍去病的家人宗族给予了极大的关爱，让他几岁的儿子霍嬗继承冠军侯的爵位，召他的弟弟霍光为奉车都尉，并享受光禄大夫的待遇。可能老天对霍去病的妒忌太严重，公元前110年，霍嬗跟随武帝封禅泰山回来后，暴毙而亡，年仅十岁，自此霍去病绝后，冠军侯爵位被撤，而霍光越来越受到武帝赏识和信任，后来更是做到了让所有权臣羡慕的地位，当然这是后话。
死去的霍去病还能让武帝痛惜，而活着的卫青却不再享有皇帝的恩宠，战事的减少、卫皇后失宠、卫家势力庞大等因素，使得武帝对于卫青，感情极为复杂。公元前116年、112年，卫青的三个儿子卫伉、卫不疑、卫登先后因各种事件削去列侯爵位，但卫青并未在武帝面前表露任何不满，沉稳温和是他的性格，同时他也深知，只要他还在，武帝对卫皇后、卫太子以及整个卫家都不会过激的举动，并且武帝不能杀他，不敢杀他，也不想杀他，毕竟大汉无论从精神还是实际都需要一个支柱。
元封五年（公元前106年）卫青逝世，汉武帝伤心不已，以当年霍去病葬礼的规格，将卫青墓修建成庐山形状，葬于茂陵东北1000米处，谥号为“烈”。
