悉达多过了很长一段时间的世俗生活，他自认为能够以超然的心态不被世俗的烦恼牵绊，把尘世的一切看作是一场游戏。然而这只是他一厢情愿的想法罢了。自从他开始世俗生活后，悉达多的生活和心灵呈现出两种截然不同、交替变化的状态。沙门苦修所麻痹的各种感觉又重新被世俗的富贵荣华、情欲欢乐给复活了，每当那些狂欢结束后，悉达多又会独自找一个僻静的场所，像沙门一样自我冥想、自我安静。他突然意识到，过去所谓的修行是不起作用的，只有有一个诱惑的果实砸过来，他就会立刻原形毕露。悉达多正是如此，他的生活仍然和过去一样受着思想、等待和斋戒这三种本领的意识支配，他依然像过去一样烦恼、痛苦。
婆罗门的生活是钻研教义、诵读经典，悉达多舍弃了它，但却又钻入了另外一种更加世俗的生活。他有了很多的钱财、有了自己的一幢房子和一群可供使唤的仆人，人们因为钱而争相与他交往。悉达多疲于应付这些人，但还是得以友善的态度对待他们，因为他可以在和人群的交往中获得更多的钱财，那足以使悉达多高高在上地俯视一切。
年轻的时候，在他亲自聆听完乔达摩讲道的那段日子里，他所体验到的那种灿烂的升华的觉醒、那种活泼的期待、那种不依赖老师和教义独自立于天地之间的骄傲、那种准备聆听自己内心的神圣之音的急切心情，都已经被世俗的岁月消磨殆尽，变成了记忆中的东西，都已经成为过去。
曾经他离那个“我”很近，他曾清楚地听见过那个“我”的声音在他耳边环绕，而现在，那个声音却只能在远远的地方轻轻地喃喃低语。 悉达多太久没有和那个“我”对话了，他被凡俗的世界所诱惑，沉迷于金钱和爱情之中。它们一点一点地钻进悉达多的灵魂，充满他的灵魂，使他的灵魂变得沉重、忧郁。悉达多在世俗生活中最终学会了很多东西，经历了很多事情。
他学会了如何做生意，如何对人施展权术，如何同女人寻欢作乐，如何打扮得华丽，如何做珍馐美味。他还学会了喝酒、赌博、下棋和跳舞。尘世间的七情六欲，悉达多都经历个遍，并将它们发扬光大到极致，他经常喝酒喝得懒惰、疏忽、善忘，他经常对手下人颐指气使，享受着控制一切的乐趣，他还经常嘲笑卡玛士瓦密，这个一直雇佣他的老板。
做那些事情的时候，悉达多总是觉得自己与众不同，觉得自己比别人优越。看人们的时候，他总会产生一种藐视的心情，带有轻微嘲笑般的不屑。这应该是高贵的婆罗门、苦行的沙门携带的傲慢因子在作祟。
人们乐此不疲地享受世间的一切世俗生活，他们爱自己、爱子女、爱荣誉、爱金钱、爱他们的计划或者希望，他们为这些东西爱恨交加、悲欢离合，却从来不会舍弃它们。悉达多认为这些追求是如此的幼稚和愚蠢，他拥有它们却从来没有爱过它们，在人们的喜情、怒情、哀情、惧情、爱情、恶情、欲情中，悉达多唯独缺少了喜和爱，所以他学到的东西越多，他内心的不愉快也就越多，他看不起的东西也就越多。
他很想再次找到那个“我”与它对话，聆听它的指引，但是那个心灵之声已经沉默很久，再也不能发出声音了。悉达多已经被这个世俗世界层层网住，他坠入了财产、财富和财宝所布下的陷阱中，如同一条锁链和一副重担，牢牢地困住悉达多。贪婪、懒惰、欲望无休无止地缠住他、占据他、侵蚀他。没有人能够拯救悉达多，于是，悉达多最后选择了一条最堕落的路——赌博。
金钱是罪恶的，他要把他手中肮脏作孽的金钱大把地输掉，这样他既能享受纵情奔放的快乐，又能更直接、更玩世不恭地宣泄出对财富的藐视。他大把大把地赢，又大把大把地输，他输掉了钱，输掉了珠宝，输掉了别墅。他喜爱那种焦虑，那种可怕的、压迫人的焦虑，享受焦虑之后接踵而至的大悲或者大喜的感觉，他需要这种紧张的刺激，比起不愉快、烦恼不断的平常生活，他更享受这种轰轰烈烈、快刀斩乱麻、一掷定输赢的生活。
赌博让悉达多的性情变得更加糟糕。一次又一次地赌输之后，悉达多的性情变得急躁，他一心一意重新积攒，他催逼借钱的人还债，不再笑脸迎接每一个人，对乞丐不再有同情心，也不借钱、送礼物给任何穷人，他疯狂地敛财，然后再去赌场大把地抛撒，以此发泄对财富的藐视。
悉达多整个人变得又老又丑，连他自己都感到极端羞愧和厌恶。每次做梦醒来的时候，他都特别讨厌自己的堕落，但是又无可奈何，他要麻痹自己，于是又去赌博、又去找女人寻欢作乐，又去酗酒，再极力地赚钱、攒钱。在这种毫无意义地花天酒地、纸醉金迷地周而复始中，他终于把自己消耗到萎靡颓废的境地了。
他发现自己两鬓中已经有了白发，在和甘玛拉欢乐的过程中，她那张美丽的脸庞上也出现了可悲的皱纹。悉达多突然感动一种恐惧，恐惧岁月，恐惧衰老，恐惧死亡。他重重地叹了一口气，心中充满了太多的痛苦。他已经厌倦了眼前的一切，渴望从中解脱出来，从这些毫无意义的世俗生活中解脱出来。
这一切都该结束了，卡玛士瓦密的生意是一场游戏，与甘玛拉的爱情也是一场游戏，悉达多融入到他们的生活，也只不过是陪他们坐着一场又一场周而复始的游戏，他已经厌倦了这个游戏，他想要重新找到那个“我”，去聆听它的声音。尽管它不常说话，但是每次说话，带给悉达多的是持续不断的快乐。他离开家园，选择沙门生活的时候，他听到了那个声音。他离开沙门向佛居住的舍卫城走去的时候，他听到了这个声音。他离开佛，像未知世界走去的时候，他又听到了这个声音。每一次面临重大人生抉择的时候，这个声音总会出现。这一次，那个声音又告诉悉达多：该离开了！
一天夜里，悉达多离开了他的花园，离开了城市，再也没有回去。离开意味着告别，告别卡玛士瓦密的金钱世界，告别甘玛拉的情欲世界。悉达多能否在新的未知生活中得到解脱呢？
