收服单廷珪、魏定国后,梁山大军正要回山,段景住来报,曾头市夺了梁山的马匹。宋江大怒,便率军去攻打曾头市,为晁盖报仇。曾家五虎和史文恭贸然夜袭宋江的大营,中了吴用的埋伏,五虎兵败被杀,史文恭被卢俊义生擒。回到梁山,宋江把史文恭剖腹剜心,祭奠了晁盖,并遵照晁盖遗言,要把梁山泊主的头把交椅让与卢俊义,卢俊义坚辞不受,其他众头领也不服。宋江无奈,只得出一主意,由宋江和卢俊义分别率两路人马,攻打附近的东平府和东昌府,谁率先攻下城池,便做梁山泊主。
宋江率兵去攻打东平府,东平府有一双枪将董平,武艺超群,十分厉害。东平府知府有一女儿,董平多次求亲,知府都不答应,因此二人有了矛盾。宋江利用二人不和,用计收降了董平,破了东平府。卢俊义率军去打东昌府,东昌府有一守将,人称“没羽箭”张清,善用飞石打人,伤了梁山好几位头领,卢俊义不能取胜。宋江攻破东平府后,与卢俊义合兵一处,又被张清打伤15员大将,宋江心生爱惜,令吴用用计。吴用以粮草为诱饵设下埋伏,将张清人马逼入水中,张清在水中无法施展本事,被三阮所擒。张清愿意归降,又举荐了兽医“紫髯伯”皇甫端,至此梁山大小头领正好108位。过了几日,宋江等人从地下挖出一块石碑,碑上刻着36位天罡星和72位地煞星的姓名,宋江为天魁星,排在第一位,天罡星卢俊义第二,天机星吴用第三,其他众头领依次排位。从此,梁山泊立起“替天行道”大旗,设立“忠义堂”,108人歃血盟誓,声名远播。
梁山大聚义后,宋江一心盼望朝廷赦罪招安。元宵节时,东京有花灯赏玩,宋江率一众兄弟乔装打扮到东京看灯,并借此寻求招安的机会,却没想到被李逵露出行踪,一帮人大闹了东京,吴用派兵将宋江等人接应回梁山。只落下李逵和燕青两人落在后面。