大家都知道,爬虫的作用是将互联网上的公开数据进行数据抓取,因此对于一些付费数据是需要登录对应账号后才能进行获取相应数据的,那么我们是否可以大胆的设想下,自己搭建一个平台,用户可以通过我们的平台来免费查阅需要付费才能查阅或者下载的数据呢?
通过2天的准备和分析,事实证明是可以实现的,具体的实现见下图
那么,其实我们就是自己搭建一个服务器作为请求网站的客户端,用户有需求的时候请求我们的服务器,我们的服务器再请求目标网站,返回用户想要的数据后再返回给我们的用户。
具体的实现过程和代码,欢迎来到直播教室免费收听!