刘备当上徐州牧之后，任命陈登为广陵郡（江苏省扬州地区）太守，但此时广陵郡被袁术占领，陈登不能到任。糜竺还是徐州别驾。为了表示对新任领导的孝心，糜竺把一个年轻漂亮的妹妹进献给刘备享用，这就是糜夫人。公元195年，刘备的日子过得比较舒心，基本无战事，也就剿剿匪，搞搞农田水利建设，闲暇之余也打打猎。
袁术要称帝，就要扩充地盘，拓展地盘的最佳方向就是刘备的徐州。这也算是对三年前宣示的徐州所有权的兑现。公元196年六月，袁术准备北上进攻刘备。刘备则采取御敌于国门之外的策略，留下张飞守大本营江苏省睢宁县（下邳），自己和关羽率军南下，经江苏省淮阴市，进抵盱眙县，抗击袁术的北伐大军。袁术也率军到了盱眙，双方相持一个多月，多次交战，互有胜负，战局呈胶着状态。刘备没想到的是，自己和关羽在前方吃紧的时候，张飞却在后方紧吃，吃饱喝足之后，就给大哥闯祸。
下邳国国相曹豹是陶谦旧部，对刘备接任徐州牧很有意见，也看不惯张飞这个莽汉的大大咧咧。张飞自己没文化，但很敬重士大夫，经常拉些有文化的人来喝酒。每次喝酒，开始的时候，张飞客客气气，低眉顺眼，虚心请教；喝高了之后，却颠三倒四地说些粗鲁话，甚至辱骂曹豹这些文化人。
张飞这样作为被曹豹手下的士兵通报给了吕布，于是吕布就带兵占领了原本属于刘备的徐州。就这样徐州又从刘备手中丢掉了。刘备又成了没有领地的英雄。
因为一件件小事，张飞就把大哥辛辛苦苦挣来的徐州给丢了，但是由于兄弟情深，刘备和关羽并没有说什么。怪也只能怪刘备选错了人留守自己的后方，这样就导致了刘备成功晚了好些年。
