康熙十四年（1675年），郝浴奉旨还朝。至此，他因忤逆吴三桂而谪戍铁岭，已经过去21个年头了。
当年明月偏照沟渠，谪戍辽东，一腔报国热血难抵塞外风霜。追思少年时，高自期许，留心世务，以诸葛武侯为榜样。年方十六即立下“澄清斯世”之志，亦大言曰：“君子生于斯世，当做天下第一流人，行天下第一流事。”这是何等意气。再忆金榜得中之日，侃侃廷对，极陈利弊，贤臣明主风云际会。先主管广东司，后擢升湖北道御史，继而巡按四川。披肝沥胆，心念苍生，何其适志。今虽复启用，已是半百白头之翁。心头所念，唯有这银冈书院，唯有这些莘莘学子。
“岂不爱一庐帘卷秋山读父书，岂不爱一堂生阶玉树看儿行，岂不爱一官班押螭头紫绶繁，岂不爱一林朋从鱼鸟散幽襟，岂不爱一壶艳烧红蜡谱笙竽，岂不爱一床云鬟晓立温柔乡。自从束发亲灯火，弱冠登朝遂作狂。俯身东戍黄龙下，红颜绿鬓尽沧桑。二十余年寝不寐，天涯回首月如霜。虽恨百忧淫瘦骨，犹喜心开书一囊。洛下真儒宗孟子，翰墨直闻泗水香。晨登讲席歌尧舜，千山翠色落银冈。可知天道终归正，从此丹山起凤凰。”反复吟诵着这首《银冈行》，郝浴走了，留下这座银冈书院，继续在塞北教学绵长，弦歌之音不绝。三百多年后的今天，在这古朴的院落，透过这文字，穿透历史风烟，仿佛又看到了虽九死边城，无力报国，却仍心念天下苍生，投心教学之中的郝雪海，正慢慢的走来。
1654年，郝浴辞亲别友，踏上了流放之路。一代名臣，终于也做了政治交易的牺牲品，终于也败给了阴险的小人。郝浴巡按四川之时，正值吴三桂大兵入川。吴三桂收复川南之后，军纪大坏，骄恣部下，淫杀不法。吴军所过之处，官民庐舍、仓库、典籍荡然一空，靡有孑遗。他还在四川网罗亲信，不把朝廷成命放在眼里。百姓对吴三桂大失所望，不再支持，转而视吴三桂的军队如同匪盗一般，望风逃避。郝浴在自己的职权内，坚持对四川地方官吏严加约束，怜民间疾苦。对于吴三桂的所作所为，清廉正直的郝浴当然是深为不满，极为痛恨。他屡次要求吴三桂严加整军，知民疾苦并停止私人任命官员等譖越之事。由此，遭到了吴三桂的忌恨，为之后遭吴三桂报复留下了伏笔。
后吴三桂被南明刘文秀追逃到四川与陕西的交界处绵州驻扎。保宁等几座孤城处于极度的危急之中。如果保宁再失，引敌入陕，将会危及京畿，后果不堪设想。郝浴其时正在保宁城。他当时受朝廷的委派，代替省级长官主持科举考试。举子们刚刚进入考场，刘文秀大军将至。郝浴临危不乱，当机立断，命令对入试的举子封闭军情，以稳定考试。同时派人飞驰绵州，向吴三桂处求兵援救。郝浴会同总兵严自明率领仅百余军兵守城。情势甚危。谁知吴三桂一败胆丧，不敢回兵，竟然准备撤回广元，退军入陕。郝浴再次派人驰书吴三桂，陈述四川尽失之利害，邀其回兵救援保宁。但是吴三桂及巡抚李国英、平西将军李国翰等仍然想继续北撤，放弃四川。郝浴终于忍无可忍，不得不以钦差身份，派人一夜飞檄七次，命令吴三桂部务必回援保宁，并严厉警告“不死于贼，必死于法”。吴三桂惧怕郝浴执法，不得不回军，驻扎保宁，以抗刘文秀。但是吴三桂无有退敌的把握，犹豫不决，部下将官仍暗自作放弃广宁逃跑之打算。在此关键时刻，郝浴虽身为文臣，无有用兵之权，又无问兵之责，但他文武兼备，又以社稷生民为重，故在此形势危急，动乱的关键时刻，临危不惧，谋略于心，挺身而出，指授退敌方略。他在从实际出发提出切实可行的治国安民之策的同时，又制定了周密详备的退敌之道：“以我之长，击敌之短。引敌军于城下平地作战，令将士背城死战，绝处逢生。设计火攻锦屏山，激战之时，扰敌军心，设伏兵于嘉江，对敌呈夹击之势”。终于说服吴三桂下了战斗决心。郝浴又出入军营，亲自对将士做战前动员，“激义旗于王垒”。将士们无不一以当百，终于取得了卷旗大捷，刘文秀大败，率残部逃回云贵。吴三桂乘胜挥军追击，再次收复了四川。“挽狂澜于即倒，扶大厦之将倾”，保宁一战，郝浴居功至伟，受到了顺治皇帝的嘉奖。
由于郝浴与吴三桂在治国方略、用兵之道、人格学识、气节风骨等方面的截然不同，更因为在四川整治尤其是保宁一战中郝浴的大义凛然，奇才大略，使得吴三桂对于郝浴的为人，郝浴的政绩深为嫉妒，也深为忌惮。郝浴将吴三桂在四川的畏敌不前，不法等事奏报朝廷，虽然顺治暂时不敢奈何拥兵一方的吴三桂，以缓其反，对郝浴的奏请搁置。但是郝浴的忠直，吴三桂很担心会对自己不利，吴三桂等拥兵自重的不法悍将必欲除之而后快，以致矛盾升级到要不择手段陷害郝浴的地步。他们先是嗾使属下进京诬告郝浴，后又买通朝臣，勾结贪官阴为左右。顺治十年（1653）,部议将郝浴降一级调用而归故里。
郝浴代狩蜀地，爱民如子，兵凶战危，却落得降级调用。对此，他无有怨言。可是，郝浴的政敌们，阴险的小人却不肯就此罢手。顺治十一年（1654），因为湖北缺抚军一职，大学士冯铨、成克巩、吕宫等五名大臣极力推荐郝浴，言其文武全才，可大用，并以郝浴保卫保宁城的事实迹为依据。吴三桂听闻此事，非常害怕郝浴东山再起，于己不利。这次吴三桂亲自上疏朝廷，摘郝浴以前奏疏中“亲冒矢石”等字眼儿，诬陷郝浴冒功、欺君。吴三桂在朝廷的亲信们也秉其意旨，极力煽风点火，部议竟决定将郝浴论死定罪。所幸顺治帝认为郝浴无大罪，部议论死不当。但是当时吴三桂手握重兵于边陲，知道其人骄横，又不敢得罪于他。为了稍解吴三桂之怒，而缓其反。只好牺牲郝浴，免除死罪，流徙盛京之尚阳堡。
郝浴流放的尚阳堡是明代边墙的城堡之一，旧名靖安堡，也是明代的重要边塞关口，位于现开原老城东四十里。每到夏日，附近的卧龙谭中开满了莲花，香气袭人，深深的吸引着郝浴这些塞外流人，供戍边之人苦中求乐。郝浴把荷花移回家中，栽植在瓦盆中，他还在茅屋周围种植菊花。荷花出淤泥而不染，菊花不畏风霜的高洁品格，正是郝浴人格的写照。
1657年4月，清廷置奉天府于盛京，朝廷视为喜事，盛京大赦，下诏曰凡在此年前流徙盛京者俱赦为民，令他们就地垦种，给与有限的自由，可以在盛京境内选择居处安家，但不可返还故里。郝浴遇赦后，决定投奔好友左懋泰，移居铁岭。这一年的端午节后，郝浴全家迁往铁岭，在铁岭古城南门内之右，选择一片方十余亩，北有山岗，南有阔地，内有无主茅屋三间之所，把茅舍稍加修缮，住了进去，然后着手起建新房。尽管遇到赦免，稍有人身自由，但是客乡塞外的生活仍是艰辛的。建筑新房之时，为了节省银钱，只雇用少数的工匠，大部分活计都是家人亲自动手劳作。王夫人由于操劳过度，病势沉重，又在此时，老家又传来王夫人母亲去世的消息。病中的王夫人远离故土，思儿想母，病情愈加严重，终因医治不愈而病逝。这对郝浴是一个沉重的打击，王夫人是他生活中的得力支柱，又是他志同道合的事业上的支持者。他的前妻李氏亡故之时，他思念亡妻，发誓不再续娶。十年后，受父母命与王夫人拜堂成亲之时，竟白冠素服表示对李氏的怀念。对此，王夫人报以无限的宽容和理解，对他更加敬爱。在郝浴只身入川巡按之时，她在家孝敬老人，抚育幼子，在他遭贬流徙之时，她倾心跟随，同赴苦难。她的一生，完全奉献给她和他的救国救民的宏愿，没有丝毫的保留。如今一朝身去，怎能不让郝浴为之悲痛。为了日夕陪伴妻子的亡魂，他把王氏葬于居室之旁，这是世人难以做到之事。郝浴为人之性情又于此可见一斑。直到还朝之时，才将王氏灵柩迁回故里厚葬。怀念伊人,“昔日戏言身后事，今朝都到眼前来”。面对亡妻，郝浴也做到了“唯将终夜长开眼，报答平生未展眉”。
郝浴深知妻子虽死于病疾，实质上却是被这不平的乱世所噬。李氏、王氏两位夫人的遭遇使他更加痛恨这个乱世，他“澄清斯事，解救苍生”的念头再度复生。但自己作为谪戍之人，是无力再直接实现济世救民的愿望了。他决定讲学授徒，让学生们将来参与国事，替自己实现平生夙愿。待等新宅第落成之后，他便将书室用作讲堂，亲书“致知格物之堂”匾额悬于门楹之上，开始招收生徒，亲自讲学。身居塞外，而时刻关念国家苍生，教导学生成为国家的栋梁之才。还朝之前，郝浴将讲学处命名为“银冈书院”，并将其铁岭所有资产赠给书院，作为书院“生徒肄业之资”。
一首《银冈行》可以说是郝浴诗意人生，磊落胸怀的最好写照。吴三桂显赫一时，终被后世唾弃。郝雪海虽遭流放，但是终其一生所作所为，尤其是作为银冈书院的创始人，泽披后世，让人怀念敬仰。
