作为一个python半吊子选手，在经过一轮正经的python面试之后，我终于对自己的定位有了清晰地认知：我学的非常肤浅。python的高级语言特...

any() 函数any() 函数用于判断给定的可迭代参数 iterable[可以是元组或者列表] 是否全部为 False。如果全部是False则...

LevelDB是谷歌开源的一个键值数据库，速度非常快，同时自动压缩数据。 起因是直接写入文本不方便第二次查找；写入MySQL等关系型数据虽然利于...

1.URL的清洗 2.cchardet模块该模块是chardet的升级版，功能和chardet完全一样，用来检测一个字符串的编码。由于是用C和C...

请说说从你在浏览器地址栏输入网站到你看到网页中间都发生了什么？ 浏览器发出请求 服务器做出响应 浏览器接收响应 网址是否有效判断URL的合法性基...

基本URL包含协议(模式)+服务器名称(IP地址)+（路径+文件名） 关于协议它告诉浏览器如何处理将要打开的文件。最常用的模式是超文本传输协议（...

原因未知解决办法就是不要一次插入大量数据产生环境：我在更新数据库，从旧的数据库更新到新的数据库，第一次出现这个消息是在我插入一千多条数据的时候，...

背景是用scrapy来抓取一个网站的列表页的时候有一个url是404，其它url是200，但是我在判断状态码的时候发现了一些问题 这是基本逻辑d...

在做增量爬虫的时候，会经常遇到网址打不开的情况，为了方便统计监控，我们用状态码来做简单判断，非200都是异常 更换域名 网页结构改变 请求方式换...