收服单廷珪、魏定国后，梁山大军正要回山，段景住来报，曾头市夺了梁山的马匹。宋江大怒，便率军去攻打曾头市，为晁盖报仇。曾家五虎和史文恭贸然夜袭宋江的大营，中了吴用的埋伏，五虎兵败被杀，史文恭被卢俊义生擒。回到梁山，宋江把史文恭剖腹剜心，祭奠了晁盖，并遵照晁盖遗言，要把梁山泊主的头把交椅让与卢俊义，卢俊义坚辞不受，其他众头领也不服。宋江无奈，只得出一主意，由宋江和卢俊义分别率两路人马，攻打附近的东平府和东昌府，谁率先攻下城池，便做梁山泊主。
宋江率兵去攻打东平府，东平府有一双枪将董平，武艺超群，十分厉害。东平府知府有一女儿，董平多次求亲，知府都不答应，因此二人有了矛盾。宋江利用二人不和，用计收降了董平，破了东平府。卢俊义率军去打东昌府，东昌府有一守将，人称“没羽箭”张清，善用飞石打人，伤了梁山好几位头领，卢俊义不能取胜。宋江攻破东平府后，与卢俊义合兵一处，又被张清打伤15员大将，宋江心生爱惜，令吴用用计。吴用以粮草为诱饵设下埋伏，将张清人马逼入水中，张清在水中无法施展本事，被三阮所擒。张清愿意归降，又举荐了兽医“紫髯伯”皇甫端，至此梁山大小头领正好108位。过了几日，宋江等人从地下挖出一块石碑，碑上刻着36位天罡星和72位地煞星的姓名，宋江为天魁星，排在第一位，天罡星卢俊义第二，天机星吴用第三，其他众头领依次排位。从此，梁山泊立起“替天行道”大旗，设立“忠义堂”，108人歃血盟誓，声名远播。
梁山大聚义后，宋江一心盼望朝廷赦罪招安。元宵节时，东京有花灯赏玩，宋江率一众兄弟乔装打扮到东京看灯，并借此寻求招安的机会，却没想到被李逵露出行踪，一帮人大闹了东京，吴用派兵将宋江等人接应回梁山。只落下李逵和燕青两人落在后面。
