陈汤向同行的上级甘延寿提出，应该联合乌孙等国的军队，向北匈奴盘踞的康居国发起攻击，甘延寿表示赞成，但提议要上报朝廷之后再行决断。陈汤在出使之前已几经沉浮，对于朝堂上的决策者很不以为然，也知道此建立不世功勋的良机，错过之后很难再有。
公元前36年夏，陈汤趁甘延寿生病之机，矫诏调令汉朝西域驻军，甘延寿无奈只好听从他陈汤的安排，并开始部署行军的阵式，增设扬威、白虎、合骑三校，汉兵、胡兵合起来共四万多人，甘延寿、陈汤又立即上奏自我弹劾假托皇帝命令，陈述用兵情况。
甘延寿与陈汤带领军队分道前进，分为六校，其中三校从南道越过葱岭从小道到大宛，另外三校由都护自己率领，从温宿国出发，经北道进入赤谷，过了乌孙，到达康居边界，一直到了阗池的西面。而康居的副王抱阗率领几千骑兵，进犯赤谷城东，杀害抢夺了大乌孙王的一千多人，抢走很多牲畜和财产。又在后面同汉朝军队遭遇，抢夺走了后面部队相当多的辎重。陈汤放出胡人军队攻打他们，杀了四百六十人，得到了他们所抢走的四百七十名百姓，交还给大乌孙王，所得到的马、牛、羊就用来供给军用，同时还俘虏了抱阗的显贵伊奴毒。
到了康居的束部边界，陈汤命令军队不得进行抢掠，暗中把康居的显贵屠墨叫来相见，向他说明汉朝的威势和信誉，并同他饮酒结盟后就放他回去了。然后从小道带领军队前进，到了离单于城大约六十里的地方就停止前进并扎下营寨，按兵不动，派人暗中捉拿单于王的重臣，后来捕捉到了康居的显贵贝色的儿子开牟，让他作为向导，这个开牟也是之前与陈汤结盟的屠墨的舅舅，他们都怨恨单于，因此很详细地告诉汉军郅支的情况。
