前言
转自：https://segmentfault.com/a/1190000042460135
本文章分享一下最近研究闲鱼app商品数据采集。
技术栈
- Python
- Frida
- JADX
- Objection
- Android Studio
思路
- 使用Android Studio创建x86模拟器并运行，安装闲鱼和frida
- 使用Objection hook URL类，打印调用栈分析出关键函数
- 使用JADX打开APK分析关键函数的参数
- 使用firda构造参数调用关键函数
- python获取来自frida脚本的回调写入es数据库，按照小时分片
- 暴露接口实现任意关键词的实时查询
效果
可以看出闲鱼每秒大概有30-40条新数据产生，我们的请求速度为每5s一次，刷新速度甚至低于人工操作app时候的频率，不会对服务器造成任何影响，我们把他们写入我们自己的数据库，便可以实现实时分析。
总结
- 通过这次实验，我学会了使用frida去获取app的数据，不需要破坏app本身的任何东西，也不需要进行http抓包，直接hook函数即可实现，非常友好
- 从技术角度讲，这样的思路可以搞定一切app。
