南宋之初，宋高宗南渡，路经杭州之西溪，见此山秀水丽，欲建行宫于此，留下一句西溪且留下，遂有杭州留下一地名至今。宋高宗趙构目光不错，留下地区山明，坞秀，茶綠，梅香，泉清，井甜。群山回绕，曲水环流。其中有十八坞，十八湾，大小村落散布其间，鸡犬之声相闻，极有烟火气息，内有一百另八景。人居其中，各得其乐，实为风水宝地，宋高宗弃之而去，豈不可惜。
时至1959年11月，当时，京华已枫叶如丹，气温变冷。但杭州正是三秋桂子，十里鲜花，景色依然妩媚。此时毛主席到杭州，心情极佳，接连攀登了北高峰，南高峰，玉皇顶，莫干山。一日从留下之马家坞登上北高峰，登顶之后，诗兴大发，随即咏诗一首，五律，看山。诗如下：三上北高峰，杭州一望空。飞凤亭边树，桃花峰上风。热来寻扇子，冷去对佳人。一片飘飖下，欢迎有晚鹰。吟毕，毛主席安然翻开随身带来的英文课本说：现在既不热又不冷，只学习喽。随行见此惊呆，我们的主席如此好学！由此可见主席一生离不开书，手不释卷。令人敬佩！
至今留下还有几座古老石桥保存下来，可以作为古镇的重要资本。目前留下老街，保存的忠义桥，据清初吴本泰编辑的巜西溪梵隐志》载：忠义桥，溪市三桥，惟此最巨，居中虹起。宋孙候所建也。此桥是清一色的武康石。武康石产于德清县，是建桥的最佳石材。以后石材枯竭，改用花岗石。
忠义桥之两旁各有一小桥相伴，这是按照阳平衡对称原理而建。中国的风水大有讲究，随处可见。小桥流水，风景依旧。
由于水运发达，留下成了杭州城西重要的商贸集散之地。明代田汝成的《西湖游览志》云：西溪居民数百家，聚为村市，俗称留下。当时留下附近的十八坞皆产茶叶，来自各地的茶商行贩前来收购，谓之水客。由此留下街上茶行应运而生，在清未民初留下是杭州最大的茶叶市场。现在的茶市街是当时的遗址。由茶市的兴起而带动各种行业出现，成了四乡八邻的中心。就在四五十年前附近蒋村一带的村民还摇着小船到留下来购買日用品，食品，
以后有了公交车，交通便捷。但据留下老人说，这些纯朴无邪的村民当初还不敢坐这公交车，怕翻車。还是坐船安稳。
现在的留下镇已没有：门前街道屋后河，深长弄堂百条多。都已拆完了，仅留下这些聊作纪念。人们到此见此八百年前的石桥仍在，依桥而立，俯视桥下淙淙流水，顿有世事蒼茫之感！
