在20世纪70年代香港某条寻常的街道里，有一个不起眼的茶馆。那里门面破旧，桌椅也吱吱作响，似乎一用力就会破碎。店老板满头白发，步履蹒跚，走起路来一瘸一拐的，谁也不知道能支撑多久。他的老伴有点驼背，还咿咿呀呀地说不清话，只能比划。可想而知，店里的生意很冷清，除了几个同样满脸长着老年斑的常客，就只有问路的陌生人和假装怀旧的读书人。
店老板两口子很神秘，在此生活二十多年了，邻居也不知道他们到底来自哪里，有无子女，只知道店老板像老式挂钟一样每天早上八点准时开店，晚上九点准时打样，从来没有差错。他老伴则日益艰难地买菜煮饭，过着简单重复日如一日的生活。
某一天早晨，店老板吃力地打开店门，刺眼的阳光扑面而来，整个世界都被照亮了。店老板有点眩晕，恍惚中体会到了某种久违了的迷失的感觉。于是他倚着门扇子，开始努力回想上次到底是什么时候有的这种茫然不知所措的感觉呢？
大概是五十年前，店老板才十几岁，生活在淮河边上，整天光着脚丫子，领着一帮小孩子沿着河岸找吃的。河里经常有船经过，抛洒下人畜的排泄物和生活垃圾。河边芦苇茂盛，沿着两岸无尽地延伸，直到看不见。芦苇丛中藏着水鸟小鱼龙虾。他们带着弹弓打小鸟，带着水叉捕鱼虾，一起忙活儿，一起分享。处得久了，六个孩子跪在岸坡上的破庙里义结金兰。喊的话都是听戏时学来的，大家都觉得有意思，没有太当回事儿，嘻嘻哈哈地嚷着。
老大虽然年龄大，但胆量却不大。有什么事情，他喜欢找老二商量。老二小一点，可胡子倒比老大的旺。因为“嘴边没毛，办事不牢”的俗语，老二威望很高。这个头发蜡黄的小子，弹弓打得最精准，弹无虚发。树上的鸟、水里的鱼经过老二的弹弓到了大家的肚子里。
每天都有火车经过，有的往南，有的往北，拖着黑烟和冗长的呜呜声。兄弟们经常到铁轨上捡旅客丢下的垃圾，希望能找些吃的，最好能翻到能卖钱的宝贝。不知道哪一天，老大问大家：“这火车是开到哪里去的？”没有一个人能回答得上来。
那段时间，经常有兵灾、瘟疫和饥馑，“生”容易，“活”不容易，最后穷困到濒临死亡的境地。饿得发昏的时候，他们就刨请嫩的的芦苇根吃，可终究不是个办法。于是，兄弟们把目光投向了火车。
某一个黄昏，大家伙儿趴在铁道边的草丛里，静静地等着黑夜的降临。没一个人说话，因为他们都饿得头昏眼花没有力气了。
等了很久，天空都黑透了，比老大写的毛笔字都黑，连颗星星也没有。幸好火车终于来了。兄弟们一拥而上，扒着火车，爬到车顶上。小六子没能爬上来，攥着栏杆不松，晃荡着身子。老大赶紧爬过去，希望能把他拉上来，没能成功。老二爬过来帮老大，可小六子还是掉了下去，被黑夜吞噬了，不知生死。此刻大家都不说话，仿佛都哑巴了。
经过一天一夜的旅程，他们来到了一个新的地方。当太阳升起的时候，老大眯缝着眼，看见铁轨边的指示牌上写着两个大黑字——上海。
初来乍到，他们没少受人欺负。为了活下去，他们捡垃圾、倒粪桶、卖报纸，从垃圾推里找衣裳，泔水桶里掏吃的，当然也做些偷偷摸摸的勾当，改善一下伙食。入夜了，兄弟们经过车水马龙的街道，走过灯光璀璨的饭店戏院，回到棚户区，躺在木板上呼呼地睡过去了。可即便他们如此窘迫，街上的痞子们经常找他们的麻烦，索要保护费。这是不能不给的。兄弟们都发恨赌咒一定要翻身报仇。老三更是要剁下每一个痞子一根手指。
漫长的五年过去了，他们都长成大小伙子了，也都干起了体面的事情，拉洋车、端盘子、卖水果，似乎每个人都有使不完的力气。于是他们对痞子们越来越不恭敬。直到一个雨夜，整个上海都成了汪洋，他们把三个痞子挤进一间破房子里狠狠地打了一顿。临走时，在其他人惊恐的目光里，老三寻找到一把斧子如了愿。当时大家只是觉得终于出了口气，竟然没有意识到他们也会像手指一样一根根地被砍去。
好的开始不一定会有好的坚持，坏的开端却会导致更坏的发生。兄弟们逐渐有了令人畏惧的名声，做了更多以前他们想都不曾想过的事情。祸闯得大了，被人追杀，最后被宋老板招了安。
宋老板是一个有头有脸的人物，上海的黑白两道见到他虽然并不像老鼠见猫般怂，但凡事都给他面子。然而，美中不足的是宋老板膝下没有子嗣，连个侄子外甥都没有，偌大的家业没有一个传承的人。于是他以一种复杂的令人捉摸不透的态度对待这五个都姓孙的年轻人。兄弟五个像五根手指，而宋老板就是手掌。宋老板按照排行给他们起了名字，分别叫念仁、念义、念礼、念智和念信。
宋老板有一个丧亲的侄女，叫宋玉婷。在宋老板的提议下，老大和她经常在一起看戏吃饭跳舞。大家开始撮合老大的婚事。最后，宋玉婷跟了一个带着眼镜的读书人，真是令人唏嘘。连最小的还不知道风情的老五都连连叹息。
每个人都有着不同的人生。老大依旧到舞厅听歌，久而久之认识了红尘女子林晓雯。时间久了，连孙念仁都不知道为何去歌厅。可一夜之间，林小雯的嗓子哑了。问是谁干的，她始终不肯说。这成了孙念仁永久的痛。
老二孙念义加入了军统，最后当上了一个头目，神秘且跋扈。而老三则成了他的死对头。孙念礼似乎被街上游行学生发的传单洗脑了，整天想着当岳武穆式的英雄，甚至跟流亡上海的韩国人联合刺杀了日本的一个海军将领，最终被通缉。尽管走投无路，孙念礼已经不相信老大，将信将疑里地在老四孙念智的帮助下逃到了苏州。没过几天又接到老四传来的消息，家人出了点事情，急匆匆地赶回上海，和妻子约定在某家旅馆某号房间见面。敲了两下门，听见里面有人咳嗽两声后，孙念礼进入旅馆房间。也就是在那一瞬间，孙念礼被人撒了石灰，什么也看不见了，接着挨了两枪，倒在地板上。鲜血从他的胸腔里不住地涌出来。老三的老婆和两个儿子围在他的身边嚎啕大哭，向他不断认错。老三耗尽力气说，早晚都会这样，我不怪你。
等到孙念仁赶到的时候，现场已经被清理，除了拖地的水印子，连个鬼也没有。孙念仁寻找孙念礼的老婆孩子，直到离开上海的那一天也没找到。
大概早已不在人世了吧。某一天，孙念仁忽发神经地说。
老大设下酒宴，请来老二和老四。酒过三巡后，老大开始质问兄弟情谊都去了哪里。老二悠悠地问老四，你知道当年小六子是怎么死的吗？他抱着老大的腿不放，老大一脚把他踹下去了，现在谈什么兄弟？在好像悼念小六子的沉默里，大家不欢而散。
老五孙念信喜欢读书，整天和学生搞在一起演话剧振兴民族精神。刚开始，大家都没在意，觉得小孩子吃点苦头就知道回头了。哪知最后，孙念信竟然领导着码头工人罢工。宋先生派老二和老四摆平此事。这两个人要对老五下毒手。老大赶来了，不停地响宋老板磕头，才饶了老五一条小命。第二天，在熹微的晨光里，与老大简单话别后，老五坐上火车逃离了上海，和小六子一样再也不知生死。
抗战爆发后，精于算计的宋老板明里暗里地跟日本人做事，透露情报倒卖军火大发战争财。老四孙念智则撕掉了遮羞布，彻头彻尾地成了汉奸走狗。当国军与日军激烈交火的时候，宋老板跪在关二爷像前，嘟嘟囔囔个没完，求签问卦。关二爷给的答复和宋老板想的一样，日本人是需要他的。果然，日本人待宋老板很好，任命他为市工商局主席。
潜伏下来的老二孙念义不知道用什么办法说服老大孙念仁除掉了老四孙念智。孙念仁再一次请孙念义和孙念智吃饭。饭局上，孙念仁一边讲往昔岁月一边流泪。孙念义和孙念智听得不耐烦了，就勾肩搭背走到屋外。屋子里只剩下孙念仁在昏暗的灯光下，一杯接一杯地喝酒，泪珠子流进酒盅里也不在意。突然屋外响起了一声枪响，孙念仁冲了出去。只见孙念智倒在地上，孙念义在一旁点烟。孙念智带来的几个随从被孙念义的人制服了，跪在地上，随着一阵密集的枪声，都送了性命。这一阵枪响把孙念仁惊醒了。他抱着孙念智哀嚎。孙念智死前，向老大说出了真相：林晓雯竟是被宋老板毒哑的，老二是执行者。
而事先老二讲是老四干的，孙念仁原打算惩罚孙念智一下，可谁知要了他的命。
事后多年，孙念仁才弄明白孙念智为什么会赴鸿门宴。他也是想杀孙念义向主子报功。恍然大悟后的孙念仁冲到水槽，拧开水龙头，任凭冰凉的水冲洗脑袋。
但在当时孙念仁却是怨恨孙念义，甚至有杀他的念头。两人相约在外滩见面。那天阴冷，一艘艘船拖着黑烟和巨大的噪声游弋在黄浦江中。见面后，两人抽烟寒暄，而孙念仁挣扎着要不要朝孙念义的脑袋上来上一枪。最后孙念义走了，在他拉开车门一刹那，孙念仁终于忍不住扣响了手枪扳机。孙念义惊愕地回头看看，又转身仰望，发现自己的礼帽被子弹打飞，飘进了浑浊的江水里。
孙念仁找宋老板算账，用枪顶着他的脑袋，但念及宋老板的恩情，还是下不了手，把手枪放在了桌面上，转身离去，勾销了所有恩怨。
接下来，孙念仁和林晓雯先是去了租界。日本人攻陷“孤岛”后，孙念仁夫妻又逃到一家小棉纱厂里做工，尽管日子寒苦，总算安下心来。
上海解放前夕，孙念仁带着林晓雯离开了上海去了香港。上船后，孙念仁望着黄浦江发呆，疑问当初来上海到底是对还是错？难道待在老家一定会饿死吗？就没有一点活路吗？就比现在差吗？
在甲板上，孙念仁遇到了孤苦伶仃的宋玉婷，却没有见到那个戴着眼镜、穿着制服的书生。读书人读的书越多越容易走火入魔。那些读死书的人往往在现实社会里寻找书里面的东西，大到民主法治，小到女子字画，无异于缘木求鱼。虚幻与现实的脱节必然会酿成悲剧。四只眼的负心汉所爱的宋玉婷应当是诗歌里描绘的不食人间烟火的佳人，而不是实实在在的人。一旦成家后，两个人就会被柴米油盐烦恼，被生老病死折磨，感情逐渐出现裂痕。信念的动摇很快造成了同床异梦。
孙念仁同情她，但也仅仅限于同情。到了香港下船的时候，孙念仁右手扶着林晓雯，左手提着大大的行李箱，和宋玉婷告别，随后转身分道扬镳。尽管在一座城市里，他们再也没有见过。不见面恐怕也是一件好事。再见时，除了尴尬，还有什么呢？
在隆隆的炮声中，宋老板再一次跪倒在关二爷前，和以前一样问个出路。卦象显示，“留”比“走”好。宋老板找到了答案，舒了一口气。其实他舍不得万贯家财，也过分相信自己的运气和力量。
穿着解放军装的老五孙念信带着人查抄了宋老板的府邸。白发苍苍的宋老板肯定后悔当初放了老五，可他现在已经八十五岁了，连打人的力气也没有了，只能哀求，并提醒孙念信的名字还是自己起的。幸好也因如此，他捡回了一条命。在失去了一切之后，宋老板被打回原形，每天扛着扫把打扫街道，受尽白眼，连讨口水喝也要看别人的意愿。不知道什么时候，宋老板死掉了，尸体都干瘪了才被人发现。没有人为他哀伤，大家反而认为便宜了他。
作恶多端的老二孙念义隐匿在上海的巷弄里幻想着东山再起，就像抗日战争时一样。可这次，死灰不可能复燃。手下人为了自保把他卖了。人民政府举行了公审大会。虽然老二口口声称自己也做了些好事，但法庭认为他罪孽深重，功不抵过。坐在主席台上的孙念信宣读了法庭对孙念义的判决书。在萧瑟的秋风里，芦花飞的哪里都是，孙念义被枪决了。在士兵扣动扳机前的一秒，孙念义忽然想起来当年自己如何把弹弓瞄向芦苇丛里的水鸟。可惜还没有发出一声苦笑，子弹就打进了他的头颅。昔日里大人物就这样简简单单的死了，一点影响也没有，好像他从来没有在这片土地生活过。
林晓雯站在孙念仁身后好一会儿了，不忍心喊他。一个客人进来了，孙念仁回到了现实里，慌里慌张地招呼着。就像这平凡的一天，孙念仁觉得一辈子也就这样过去了。
