IP属地：上海
-
Linux上使用crontab命令完成定时爬虫本文主要记录： 1、crontab的用法。 2、crontab与scrapy的结合。 一、crontab cronta...
-
简单高效地部署和监控分布式爬虫(一)--Scrapyd最近在使用scrapy时，面临在多个机器部署的问题，如果手动将代码拷贝到每一台机器，并且在命令行启动scrapy变得很繁琐。 本次总结...
-
2019-03-19hashlib模块使用
一、基本概念 Python的hashlib提供了常见的摘要算法，主要提供 如MD5，SHA1, SHA224, SHA256, SHA38...
-
2019-03-18关于http协议的幂等性问题
首先理解一下幂等性： 幂等 对于同一种行为，如果执行不论多少次，最终的结果都是一致相同的，就称这种行为是幂等的。 非幂等 对于同一种...
-
Hadoop Streaming的使用
Hadoop Streaming是python可以调用于执行MapReduce任务的接口，本人在学习使用时踩了很多坑，也折腾了一段时间，本...
-
2019-03-07多线程&多进程(下)在《多线程&多进程(上)》中，记录了python中的threading模块常用的类的使用方法，对比了Lock/RLock和conditio...
-
使用Charles抓包安卓模拟器（MuMu）在进行app爬虫的时候，由于app没有浏览器这种可以直观看到后台请求的工具，所以要想获取该请求，往往是通过一些抓包软件抓取数据。 Ch...
-
2019-03-01 cmder下使用virtualenv和condaenv今天用到了一个很强大的工具——cmder。 简洁美观的界面，便捷的操作，我现在已经看不下去windows的原生cmd了。 使用了cmder之...
-
2019-02-27问题（三）
题目来源：python常见面试题——网络编程和前端部分 题目: 1. AJAX是什么，如何使用AJAX？ 2. 常见的HTTP状态码...