【爬虫成长之路】(二)各篇需要用到的库和工具

本系列文章共十篇:

【爬虫成长之路】(一)爬虫系列文章导读
【爬虫成长之路】(二)各篇需要用到的库和工具
【爬虫成长之路】(三)【大众点评】selenium爬虫
【爬虫成长之路】(四)【大众点评】selenium登录+requests爬取数据
【爬虫成长之路】(五)【大众点评】浏览器扫码登录+油猴直接爬取数据
【爬虫成长之路】(六)【大众点评】mitmproxy中间人代理爬虫
【爬虫成长之路】(七)【大众点评】PC微信小程序+requests爬取数据
【爬虫成长之路】(八)【大众点评】安卓APP爬虫

一、各篇文章所用到的库和工具

序号 章节 工具
1 第一章
2 第二章
3 第三章 selenium chromedriver
4 第四章 seleniumrequests Fiddlerchromedriver
5 第五章 Django Fiddler、油猴
6 第六章 requestsDjango Fiddler、油猴
7 第七章 requestsDjangomitmproxy Fiddlermitmproxy
8 第八章 requests Fiddler
9 第九章 requests FiddlerFridaObjectionIDAJADX-GUI
10 第十章

注:只列出关键库和工具,全系列文章更新完成后更新此表格!

二、相关库安装及使用教程

  1. selenium:pip install selenium
    selenium-python中文文档:包含库的安装方法和使用说明

  2. requests: pip install requests

  3. mitmproxy: pip install mitmproxy

  4. frida: pip install frida

    • Frida 是什么?
      • Frida 是一个hook工具,也是全平台的hook工具
      • 使用Frida时建议用性能稍好的物理机、如果没有的话这里推荐逍遥安卓模拟器和木木模拟器,试过雷电、夜神,雷电直接闪退;夜神无法root,root之后卡在99.99%,无法启动模拟器;木木模拟器点击切换时也有卡顿现象,不过至少不闪退,综合体验最好的就是夜神安卓模拟器,有那么些广告还是要手动关一下才好,相关链接放下面。
      • 逍遥安卓模拟器木木模拟器雷电模拟器夜神模拟器
      • 如果在使用时,碰到ADB连接的问题,一般是报模拟器的ADB版本和手机内ADB版本不一致,这个自己去百度一下解决方法。
    • Frida官网
    • [简书]Frida详细安装教程
    • [CSDN]Hook神器: frida超详细安装教程
  5. objection: pip install frida

  6. Django: pip install django

三、相关工具下载及使用教程

注:这里提醒一下,下载软件时的顺序如下:

  1. 官方下载
  2. 国内镜像下载
  3. 论坛或网盘下载
  4. 不要去国内那些综合下载站下载!!!

1. chromedriver

2. Fiddler

  • Fiddler 是什么?
    Fiddler是一款抓包工具,同类抓包工具还有postman、burpsuite,任选一款适合自己的就好了,这里我选择我习惯的Fiddler。如果是简单的场景,也可以直接浏览器内F12解决。
  • 官方下载地址(网站略卡,打不开的可以去论坛找找)
  • [博客园]Fiddler教程

3. mitmproxy

4. JADX-GUI

  • 这个软件可以将APK直接反编译成JAVA代码,绝大部分都能够还原回来,还支持跳转,很好用。
  • JADX-GUI github 下载地址

5. IDA

  • 这个软件去吾爱论坛下载,里面有大佬分享了。

FQA

如果你在学习过程中遇到任何问题,可在评论中留言、私信或发送邮件给我,看到会回复

注:

  1. 如果您不希望我在文章提及您文章的链接,或是对您的服务器造成了损害,请联系我对文章进行修改;
  2. 本文仅爬取公开数据,不涉及到用户隐私;
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,793评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,567评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,342评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,825评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,814评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,680评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,033评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,687评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,175评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,668评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,775评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,419评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,020评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,978评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,206评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,092评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,510评论 2 343

推荐阅读更多精彩内容