隐居江西以后，由于生活上基本安定下来，所以辛弃疾在闲来无事之时常走访各地，然而并不是如同以往的名人一样去寻仙问道，而且勘察地形，走访名士高人，探索制敌之策。而当时鹅湖山、灵山、博山等地，都是辛弃疾常去的地方。鹅湖山下的鹅湖寺，坐落于在通往福建的古驿站旁。正是在这个鹅湖，发生了一件中国历史觞极其重要的事情。
1175年农历六月初三至初八，著名学者朱熹、吕祖谦、陆九龄、陆九渊等在鹅湖寺举行了中国哲学史上著名的“鹅湖之会”（第一次鹅湖之会）。鹅湖因而文化圣地，而对哲学也深感兴趣的辛弃疾来说，从此对鹅湖也产生了浓厚的兴趣，时不时的便会来到鹅湖转悠转悠。
1188年秋天，陈亮写信给辛弃疾和朱熹，相约到铅山紫溪商讨统一大计。但后来朱熹因故推辞了这次铅山之会。这年冬，到了相约之期，抱病在身的辛弃疾于瓢泉别墅扶栏远眺，一眼看见期思村前驿道上骑着大红马而来的陈亮，大喜过望，病痛消散，下楼策马相迎。两人在村前石桥上久别重逢，感慨万端；
伫立石桥，沐浴着雪后初晴的夕阳，纵谈国事，为金瓯残缺而痛心疾首，爱国之情汹涌澎湃于胸，拔剑斩坐骑，盟誓为统一祖国奋斗不止。辛弃疾在与陈亮别后写的《贺新郎·同父见和，再用韵答之》中发出“男儿到死心如铁，看试手，补天裂”的呐喊，正是这种豪情壮志的写照。
辛弃疾和陈亮这次会晤，瓢泉共酌，鹅湖同游，长歌相答，极论世事，逗留弥旬乃别，成为文坛佳话。后人为了纪念这两位爱国志士，将这次会晤称为第二次“鹅湖之会”，将期思村前的石桥称为“斩马桥”，并在桥旁建了斩马亭。至今，当地还流传辛弃疾和陈亮“斩马盟誓”的故事。斩马亭还在，虽经历风雨，仍有不少刻有“斩马亭”字样的釉瓦覆盖其上，为铅山县文物保护单位。
1194年夏，辛弃疾又被罢官回上饶，住在瓢泉，动工建新居，经营瓢泉庄园，决意“便此地、结吾庐，待学渊明，更手种、门前五柳”。1195年春，瓢泉“新葺茆檐次第成，青山恰对小窗横”（《浣溪沙·瓢泉偶作》），瓢泉园林式庄园建成。
1196年夏，带湖庄园失火，辛弃疾举家移居瓢泉。1196年秋，辛弃疾生平所有的各种名衔全部被朝廷削夺得干干净净，在瓢泉过着游山逛水、饮酒赋诗、闲云野鹤的村居生活。瓢泉田园的恬静和期思村民的质朴使辛弃疾深为所动，灵感翻飞而歌之，写下了大量描写瓢泉四时风光、世情民俗和园林风物、遣兴抒怀的诗词。
《临江仙·戏为期思詹老寿》、《浣溪沙·父老争言雨水匀》、《玉楼春戏赋云山》等等，都是辛词中描写瓢泉村居生活的代表作。“青山意气峥嵘，似为我归来妩媚生”（《沁园春·再到期思卜筑》）；“我见青山多妩媚，料青山、见我应如是。情与貌，略相似”（《贺新郎·邑中园亭》）。这些词句表现了辛弃疾对瓢泉山水风物一往情深。
1203年，辛弃疾先后被起用为绍兴知府、镇江知府等职。1205年秋，又被罢官，辛弃疾怀着满腔忧愤回瓢泉。1207年秋，68岁的辛弃疾，身染重病，朝廷再次起用他，任他为枢密都承旨，令他速到临安（杭州）赴任。诏令到铅山，辛弃疾已病重卧床不起，只得上奏请辞。这年农历九月初十，爱国词人辛弃疾带着忧愤的心情和爱国之心离开人世。
