关于苏武在匈奴娶妻生子之事，班固先生在《苏武传》里轻描淡写。苏武回汉后，他的前妻生的一个儿子苏元，因参与谋反而被杀，苏武年老，皇上怜悯他，问他在匈奴是否结婚生子，这时苏武说：“前发匈奴时，胡妇适产一子通国，有声问来，愿因使者致金帛赎之。”班固先生仅把这句话记录下来，一笔带过，事情的具体经过就一字不提了。大概觉得苏武娶的是“胡妇”，要为苏武避讳一下。
苏武的本家苏轼先生，有一次和朋友聊起养生之事，认为“去欲 ”最重要，他的朋友说“去欲”很难，举苏武为例，说苏武牧羊北海，许多考验都经受住了，“然不免为胡妇生子”，穷居海上都如此，更何况洞房绮疏之下，乃知此事不易消除。苏轼赞同他朋友的话，认为苏武如常人一样，有色欲之心。他把这件事写在了《东坡志林》里。
但是后来的卫道士们要维护苏武的高大形象，极力为苏武辩解。好像“娶胡妇生子”这个事情，与伟大的“爱国主义精神”是矛盾的，不可详写。
一般人认为，苏武在匈奴牧羊过的日子很苦，例如，吴汝煜先生就说：“苏武在匈奴十九年，从生活方面说，可谓艰苦备尝”；流传甚广的《苏武牧羊》歌曲中也有“雪地又冰天，苦忍十九年”的歌词。确实，苏武在匈奴，曾经啮雪吞旃，掘鼠挖草，但他也有温饱的日子。匈奴的一个王，曾经赏识他，送给他吃的、穿的，还有帐篷、日用品、牛羊等，他的朋友李陵也送他“牛羊数十头”。他娶了妻，生了子，有了一个家，他享有天伦之乐，肯定也有“其乐融融”的日子。另外，苏武在匈奴，正当壮年,孤身一人，何时能归去，遥遥无期。他是一个了不起的坚守气节的人，同时也是一个有着七情六欲的正常的活生生的人，娶妻是合理的。
苏武在匈奴娶妻生子这个史实，只能使他的形象更真实、更有立体感而已。我们并不能否认事实来拔高他的人格，也不能因此否定他的不投降，他的矢志坚持。
