1927年6月，日本军部派出曾经担任日本陆军大臣的山梨半造到中国北京游说张作霖：“退出关外，专心经营满洲”。张作霖当时听到这个话，很不高兴。他是这样回答山梨半造的：“我张作霖来到北京就是要与苏俄势力作斗争的，我和苏俄打仗也是为了你们日本儿打的。蒋介石是被赤化了的一股军事势力，现在你们却要我退回满洲，这是什么意思？”这件事，在日本军部和张作霖之间闹出了裂痕。
其实，早在1927年4月，日本田中义一上台后，向张作霖强索铁路权，逼张解决所谓“满蒙悬案”，从而激起了东北人民的反日怒潮。9月4日沈阳两万人示威游行，高呼“打倒田中内阁”。在全国反帝浪潮的冲击下，以及张作霖本人的民族意识，奉系政府未能满足日本在“满蒙”筑路、开矿、设厂、租地、移民等全部要求，并有所抵制，这为日本内阁所不能容忍，日本关东军则断定东北人民的反日游行系张作霖煽动所致，对他恨之入骨。
这次张作霖回东北，日本提出了最后通牒，胁迫他同意日本的要求，张作霖却仗着自己手里还有几十万军队，不肯松口。于是，日本关东军决定在张作霖回东北的路上除掉这个眼中钉。当国民军迫近京、津之时，日本“惟恐战乱波及满洲”，一面增兵青岛，威胁南军北进;一面按其“东方会议”的决策，对张作霖施加压力，迫张及早离京。1928年5月18日，日本对交战双方发出警告，声称：“动乱行将波及京、津地方，而满洲地方亦有蒙其影响之虞。夫满蒙之治安维持，为帝国之所最重视，苟有紊乱该地之治安，......帝国政府为维持满洲治安计，不得不取适宜且有效之措置。”在这“警告”发出的前后，日本加紧了逼张的活动：既催张退回东北，又乘机向张勒索“满蒙”的权益。
1928年5月17日，日本驻华公使芳泽谦吉也开始劝说张作霖退守关外。张作霖说：“如果我下台，中国就会全面赤化，我反对撤退关外！”芳泽谦吉对张作霖做了通宵的思想工作。劝说工作一直持续到了次日5月18日的白天。芳泽谦吉后来失去了耐心。于是，他依据首相田中义一早前给的指示，对张作霖作了这样的带有“最后通牒”性质的强烈警告：“如果再不退回关外，一旦你和蒋介石的北伐军决战，而如果你又打不过他的话，我们日本军队就不允许你再撤出关外了。”
张作霖于是于1928年6月3日当夜，乘坐火车，离开北平。次日凌晨，当张作霖的火车开到沈阳附近的皇姑屯路段时，火车车厢突然"轰。的一声，被预先埋下的炸药给炸飞了。张作霖当场被炸成重伤。事后，不治身亡。这就是近代史上赫赫有名的“皇姑屯事件”。
