初办团练受挫，曾国藩一度灰心失望，感叹世事艰难，不过，他很快便调整自己，摆正心态：不就是被排挤嘛，爷还不乐意在长沙呆着呢
在离开长沙之前，曾国藩原本想给皇帝上疏，再弹劾他几个庸官，后来经过再三思考，决定“好汉打脱牙和血吞”。因为是自己越权在先，如果皇上怪罪下来，自己也脱不了干系。再说，依靠别人，最终难以立足，必须发奋练成一支属于自己的军队，才有成功的本钱。这也是他离开长沙，到衡州练勇的根本原因。
衡州是湖南衡州府知府衙门所在地，即现在的衡阳市，衡州城是蒸水与湘水的汇合处，为两广门户，历来是兵家的必争之地。
曾国藩对衡州也特别亲切，因为他祖籍衡州，而且他少年时代曾在衡州求学多年。所以，他来到衡州，看着一草一木，内心深处有一种非常熟悉的感觉。
咸丰三年八月，曾国藩刚到衡州就去拜访了衡州知府陆传应。知府官位仅是从四品，比曾国藩整整低了五级，但他不仅没有以高欺下，还和他称兄道弟。曾国藩的平易近人让陆传应受宠若惊，谁说这位二品团练大臣不好相处，看来，以前的风言风语只不过是谣言而已。
曾国藩的适当弯腰换来了和睦一片，二人的双手紧紧地握在了一起，很快就成了要好的朋友。陆知府慷慨地借给曾国藩10万两白银给湘军做军饷，全力支持他编练新军。
因为少了许多不必要的应酬与牵制，曾国藩的烦恼也少了许多，他可以一心一意地训练他的湘军了。军饷问题暂时解决了，接下来就要选择合适的训练场地了。
在衡州城小西门外的蒸水滨，有一片非常宽阔的荒地，当地百姓称它为演武坪。这是当年吴三桂在衡州称帝时，为演练兵勇开辟的，后来便成为历代驻军的操练场地。曾国藩沿衡州城转了几圈，最后选定了这块虽然已经荒芜，但却很实用的地方作为自己训练湘军的场地，把从长沙带来的一千多名勇丁驻扎在这里。
人都是这样，只有真正经历过，才知道什么是对的，什么是错的，才能逐渐变得成熟起来。曾国藩就是这样，在长沙受挫后，他也变得谦和了许多，并且认识到，如果没有地方上的鼎力相助，要想编练成新军，简直就是痴人说梦。
有了上次的教训，曾国藩在衡州处处小心谨慎。就说他的“署衙”吧，刚开始想用“钦命团练大臣曾统辖湖南湘军总营务局”这个名称。后来感到不妥：皇帝诏书写的是“帮办团练大臣”，“帮办”二字，定下了主从关系，湖南的主角是骆秉章，而且团练不是军队，统辖湖南湘军就更不妥了。枪打出头鸟，为了不授人以柄，最后决定还是照旧用长沙时用过的“湖南审案局”五个字。
虽然招牌没有改变，但性质大有不同。此刻的曾国藩已经不再是当初在长沙的那个曾国藩了。他不再蛮干，不再仅仅做维持地方治安的刽子手，而是决心要练成一支劲旅，做惊天地、泣鬼神的男子汉事业。
既然已经确立了目标，曾国藩就开始全心全意地去做。
咸丰三年（公元1853年）八月到达衡州，到咸丰四年（公元1854年）正月从衡州出征时结束，曾国藩在这里呆了整整五个月。他用五个月时间练就了一支劲旅，对他来说已经足够了。
曾国藩自从有了要成就一番伟业的想法之后，便踌躇满志，恨不得马上能为国家排忧解难，可是心急吃不了热豆腐，任何事都要慢慢来，想一步登天，那只能是功亏一篑。
想练就一支劲旅，除了有地方官员的协助外，还必须取得上面人的支持，另外，还必须有得力可靠的官兵。这二者缺一不可。
虽然在长沙办团练很不爽，但曾国藩深知借助骆秉章的重要性，于是，特意给骆秉章写了一封信，向他报告团练的具体情况，欢迎他随时来衡州视察。曾国藩希望用这种“屈服”的方式来换取他的全力支持，如果不能如愿，至少以后不再给自己穿小鞋也相当不赖了。接着，曾国藩又给郭嵩焘、刘蓉、李元度、陈士杰等人各写了一封信，让他们前来共谋大计。
目前有十个省办起了团练，其他九省帮办团练大臣直接掌握的团丁都不超过二三百人，湖南这一千多人已经是最多的了。再说这一千多人的饷银、器械全靠自己解决，已经走上了绝路，如果真的编练大部队，经费问题更难以想象了。
曾国藩躺在床上，辗转反侧，虽然十分劳累，却毫无睡意。好在他发出的信有了回应，这些烦人的问题也有人可以共同商量了。
首先是位戴着深度近视眼镜文人李元度应邀而来，还带来了五百名新招募的平江勇士。然后，郭嵩焘、刘蓉、陈士杰都先后来到衡州，曾国藩很高兴
郭嵩焘告诉曾国藩，他在湘阴募集了一批军饷，过几个月便可凑齐二十万，这无疑是雪中送炭，解决了曾国藩的大问题。有了钱，事情就好办多了。
曾国藩接着又写信给骆秉章，借调塔齐布、杨载福、周凤山三人帮忙练兵。这个请求不损害骆秉章的利益，骆秉章也不想与曾国藩搞僵，毕竟这位团练大臣顶着二品大员的头衔，于是爽快地答应了曾国藩的请求。三人便一同来到衡州，曾国藩见自己麾下人才济济，心中自然异常欢喜。
不久，曾国藩在衡阳也招募了大量的勇丁，结果，所有的勇丁加起来达到了五千人，于是曾国藩就把他们分为10个营，分开训练，委任塔齐布、罗泽南、王錱等人为营官。
为了使这些湘勇们能一心一意地操练，曾国藩决定发厚饷。银子兑现了，湘勇们操练都很有劲头。于是，衡州城外那块荒废多年的演武场上，整日炮声隆隆，烟尘滚滚，人喊马嘶，杀声冲天，引得大人小孩前来围观，他们已经很久没有看见操练地如此勤勉的军队了。
没有规矩，不成方圆，尤其在军队中，严明的纪律是战斗力的保证。所以，曾国藩还结合目前的实际情况，制定了详细的军事条例。
曾国藩深深体会到：嘴上说的，纸上写得都不牢靠，只有做出来才是最实在的。
