西南夷，是汉代生活在四川以西、以南横断山区、云贵高原的少数民族。
西南夷部落林立，大体可以分为：以夜郎、句町为首的南夷，大致是贵州、滇东桂西；以滇国为首的南夷，大致是云南中部、凉山南部；以邛都为首的西夷，大致是凉山州；以莋都为首的西夷，大致是大渡河下游；以冉駹为首的西夷，大致是阿坝州；以白马为首的西夷，大致是甘肃陇南。这些部落发展阶段、生产生活方式不尽相同，有农耕，也有游牧，也有二者兼有的。
建元六年，西南夷第一次进入汉朝官方的视野。这一年，福建的东越攻打两广的南越，南越王向汉朝求救。于是，汉武帝出兵两路，攻打东越，大行王恢出江西，大司农韩安国出浙江，会攻福建。东越人杀了东越王投降。
王恢派鄱阳县令唐蒙出使南越，宣传军威。南越大摆筵席，向唐蒙致敬。酒桌上，一种叫做枸酱的东西，引起了唐蒙的关注。何为枸酱，现在众说纷纭，有人说是一种酱，有人说是酱香型酒。唐蒙认识枸酱，知道枸酱是四川特产。四川特产怎么会出现在广州的餐桌上？南越人说，这是商人从牂牁江上游进口的，牂牁江就是珠江上游。
四川、广东、珠江，这是什么方位关系，怎么会联系到一起，唐蒙百思不得其解。回到长安后，唐蒙向四川商人了解情况。他们交代，有些奸商会从四川向夜郎国走私枸酱，夜郎在蜀之南，临牂牁江，可以通航，顺流而下就能到达南越，夜郎与南越之间也有贸易往来。唐蒙恍然大悟，原来在四川和南越之间，还有一个叫做夜郎的国家。
唐蒙为什么如此执着于枸酱的贸易问题呢？因为在南越，唐蒙不仅看到了枸酱，还看到了不可接受的现象。南越王僭越天子仪轨，表面臣服，实为割据自立。汉越之间的脆弱关系不可持续，将来必有一战。枸酱在南越的存在，让唐蒙认识到，在四川与广州之间存在一条连续畅通的水路，通过牂牁江，可以直抵南越都城番禺，这条水路具有军事价值。
经过深入研究，唐蒙上书汉武帝：
“南越王黄屋左纛，地东西万余里，名为外臣，实一州主。今以长沙、豫章往，水道多绝，难行。窃闻夜郎所有精兵可得十万，浮船牂牁，出不意，此制越一奇也。诚以汉之强，巴蜀之饶，通夜郎道，为置吏，甚易。”
唐蒙详细对比了从湘赣打南越和从夜郎打南越的区别。第一，湘赣与南越间隔南岭，水路并不连续，而夜郎到南越的水路是连续的；第二，南越防备汉朝主力一定布防在湘赣一线，从夜郎出兵可出其不意攻其不备；第三，夜郎有十万精兵，可以调用。因此现在就要征服夜郎。凭借汉朝国威和巴蜀经济，征服夜郎具有极大的可行性。
汉武帝十分认可。元光五年，唐蒙被任命为中郎将，出泸州巴符关，溯赤水河而上，南下寻找夜郎。最终，唐蒙见到了夜郎侯多同，谕以威德，并提出了将夜郎纳入汉朝治理体系的要求。
第一次见面，就提出这么过分的要求，夜郎侯竟然同意了，原因是信息不对称。唐蒙清楚汉朝与夜郎国力的对比，却不完全清楚从巴蜀到夜郎的难度；夜郎不清楚汉孰与我大，但清楚的知道云贵高原的崇山峻岭有多么崔嵬。只需假装臣服于汉朝，就能获得巨大的经济利益，而地理环境又足以排除汉朝的军事威胁，稳赚不赔，何乐不为？
但是，汉朝不是开玩笑的。汉朝很快在四川南部的宜宾一带设立犍为郡，唐蒙发动了巴蜀地方数万人，开工建设从犍为僰道到夜郎牂牁江的道路。
夜郎王做梦也没有想到基建狂魔的祖先对于基建如此用心。如果真的让汉朝打通道路，那么夜郎的主权与安全所依赖的地理险阻将化为乌有，那还了得，于是，夜郎率领周边的南夷各部反叛了。
前面是南夷工程的早期情况，几乎同时上马的还有西夷工程。如果说南夷工程第一人是唐蒙，西夷工程的第一人就是司马相如。
司马相如是成都人，是汉景帝、汉武帝时期名满天下的大文豪。他的太太卓文君，就是首富临邛卓王孙的女儿。司马相如长期在临邛生活，临邛与西夷近在咫尺，所以他对西夷的情况比较熟悉。
当时，西夷邛都、莋都诸部，听说南夷从汉朝那里捞到很多赏赐，十分羡慕，纷纷表示，希望能够与南夷享受同等待遇，也能内属汉朝。
司马相如从地理、历史等角度全面论证了西夷工程的战略优势。从地理角度看，邛都、莋都、冉駹等西夷距离四川很近，道路建设将相对容易；从历史角度看，西夷与巴蜀来往已久，双方有交流交往的人文基础；因此，相对于南夷，西夷工程更具优势。
于是，汉武帝任命司马相如为中郎将，持节招抚西夷。在四川地方官的配合下，司马相如使团与西夷各部建立联系，在此设立都尉和十几个县，对西夷进行名义上的管治。随后，司马相如将边境线向西扩展到沫水和若水，建设道路，架设桥梁，以通邛、莋。
虽然西南夷工程热火朝天，但是现实的困难却超乎想象，特别是南夷工程。从犍为向牂牁江修路，汉武帝授权唐蒙发动巴郡、蜀郡各五百士兵，地方政府又配备了数万人帮忙。但是由于自然和人文环境的恶劣，后勤不力，夜郎等部纷纷叛乱，士卒死伤惨重，投入的成本数以亿计。唐蒙折腾了两年，也没有成功。不但如此，在巴蜀也一度引发恐慌情绪，很多人甚至逃亡、自残乃至自杀以逃避抓壮丁。为了疏导巴蜀人民的情绪，司马相如写了一篇檄文，痛斥那些逃避者是不肖愚民，寡廉鲜耻，“耻及父母，为天下笑”，严肃批评他们的不忠不孝，严肃批评他们的父母和地方官教育职能的缺位。
至于司马相如主导的西夷工程，也强不到哪去，巴蜀父老、朝廷大臣普遍反对，认为劳民伤财，没有价值。司马相如没有退缩，又写了一篇文章，指出：
“必有非常之人，然后有非常之事；有非常之事，然后有非常之功。非常者，固常人之所异也。故曰非常之元，黎民惧焉，及臻厥成，天下晏如也。”
也就是说，像西南夷工程这样的非常之功，要筚路蓝缕以启山林，绝不可能一帆风顺，但成功之后，将会造福万方，泽被万古。司马相如要求反对西南夷工程的耆老大夫缙绅先生们发挥模范作用，带头投身西南夷工程中去，“百姓虽劳，请以身先之”。
反对者不依不饶，他们挖出了司马相如在西夷受贿的证据，导致司马相如被罢官。这应该是赤裸裸的诬陷，司马相如是首富的女婿，继承了卓王孙三分之一的家产，有的是钱，是西汉少有的清官，贪污是不可能的。即便确实在西夷违规收受礼品，估计也是照顾西夷的脸面，说他受贿，纯属欲加之罪。
西南夷工程最终还是被暂时搁置了。因为不久以后，汉朝全力投入了更加宏伟的事业，就是对匈奴的战争。元光六年，汉武帝正式发起了对匈奴的反击之战，卫青取得龙城大捷，元朔二年，卫青夺取了黄河大几字湾南北的广大土地，在主父偃的建议下，汉朝在此设立朔方郡、五原郡。
此时，汉朝同时上马了三个大型的边疆开发工程，分别是西南夷工程、朔方郡开发项目和东北的苍海郡开发项目，无不劳民伤财。御史大夫公孙弘统统反对这三个项目。为此，汉武帝让朱买臣与公孙弘辩论朔方项目的优劣，公孙弘完败。于是，公孙弘退而求其次，主张“罢西南夷、苍海，专奉朔方”。汉武帝最终同意了公孙弘的方案，就这样，西南夷工程于元朔三年暂时下马了。
