宋哲宗年间，在章惇的报复的政策下，被流窜南荒诸人中，处分最重的，一是苏轼，一是刘安世。
刘安世三贬而至英州，再徙梅州，两次阴谋刺杀，都未成功。章惇、蔡卞又提出宫内向外间寻觅乳媪那重旧案，诏令孙鼛将刘安世收囚在槛车里，命他亲自押赴京师。行未数驿，哲宗崩，徽宗即位，赦至而还。
这两个命不该绝的同难者，放还也在最后。所以，此时遂能相遇到虔州。
苏、刘二人，政治上不是同道，私人关系上也算不得是朋友。元祐初，苏轼在中书与司马门人刘安世（器之）共事，安世是一个熟谙典章的官僚，每遇苏轼处事逾越分寸时，他必非常冷静地搬出典故来约束他，苏轼当时很生气，背后骂道：“何处把上曳得一个刘正言来，知得许多典故！”
把上，是农人乘以耕田的工具，相当于现在骂人为土包子的意思。安世听得此话，慨然道：“子瞻是怕典故的，但如任他但凭才气而变乱故常，总不可以。”
中国幅员太大，政治上向来有南北的地方成见。王安石领导的新党，都是南人，如蔡确、吕惠卿是福建晋江人，章惇是浦城人，曾布是江西南丰人，等等；而元祐的主干，自司马光、吕公著以至吕大防、刘挚等，几乎尽是北方人，因此，对南人不免歧视。当时，朝士间流传一句骂人的俗谚：“闽蜀同风，腹中有虫。”这句话不但骂了福建仔，也骂了四川佬。苏轼听了，遽然作色道：“书称立贤无方，何得乃尔！”
大名人刘安世冷冷地接口道：“我先前未曾听说过这句话，不过立贤无方，须是贤者才可以；如是中人以下者，安得不受土地风俗的影响。”
然而，时过境迁，现在他们同是北归的异乡人，虔州邂逅，便成了很好的旅伴。
寒食节，苏轼与刘安世（器之）同游南塔寺寂照堂。器之甚好谈禅，但不喜欢游山。山中新笋出土，苏轼想上山吃笋，怕他不肯同去，骗说邀他同参玉版和尚。器之听说有禅可参，欣然从行。到了光孝寺的廉泉，先坐下来烧笋共食。
器之觉得笋味鲜美，便问：“此何名？”苏轼答曰：“名玉版。此老僧善说法，要令人得禅悦之味。”
器之这才恍然大悟，被苏轼骗了。苏轼大为高兴。全用禅语作诗曰：
丛林真百丈，法嗣有横枝。
不怕石头路，来参玉版师。
聊凭柏树子，与问箨龙儿。
瓦砾犹能说，此君那不知。
