MongoDB 是目前炙手可热的 NoSQL 文档型数据库，它提供的一些特性很棒：如自动 failover 机制，自动 sharding，无模式...

1.明确目标 可以借助类，定义不同方法处理不同的步骤 应该借助队列，将请求的url放入队列处理 可以借助多个队列将请求，放回的html,抓取的内...

1.用一个可变的值作为默认值 这是一个绝对值得放在第一个来说的问题。不仅仅是因为产生这种BUG的原因很微妙，而且这种问题也很难检查出来。思考一下...

retrying是一个python的重试包，可以用来自动重试一些可能运行失败的程序段，retrying提供一个装饰器函数retry，被装饰的函数...