1、JavaScript
JavaScript 是网络上最常用也是支持者最多的客户端脚本语言。它可以收集 用户的跟踪数据,不需要重载页面直接提交表单,在页面嵌入多媒体文件,甚至运行网页游戏。
我们可以在网页源代码的<scripy>标签里看到,比如:
<script type="text/javascript" src="链接"></script>
2、jQuery
jQuery 是一个十分常见的库,70% 最流行的网站和约 30% 的其他网站都在使用。一个网站使用 jQuery 的特征,就是源代码里包含了 jQuery 入口。
如果你在一个网站上看到了 jQuery,那么采集这个网站数据的时候要格外小心。jQuery 可 以动态地创建 HTML 内容,只有在 JavaScript 代码执行之后才会显示。如果你用传统的方 法采集页面内容,就只能获得 JavaScript 代码执行之前页面上的内容。
<script type="text/javascript" src="js/jquery-1.11.1.min.js?v=201512181512"></script>
3、Ajax
我们与网站服务器通信的唯一方式,就是发出 HTTP 请求获取新页面。如果提交表单之后,或从服务器获取信息之后,网站的页面不需要重新刷新,那么你访问的网站就在用Ajax 技术。
4、DHTML
DHTML 是用客户端语言改变页面的 HTML 元素(HTML、CSS,或者二者皆 被改变)。比如页面上的按钮只有当用户移动鼠标之后才出现,背景色可能每次点击都会改变,或者用一个 Ajax 请求触发页面加载一段新内容,网页是否属于DHTML,关键要看有没有用 JavaScript 控制 HTML 和 CSS 元素。
Python 解决这个问题只有两种途径:
(1) 直接从 JavaScript 代码里采集内容
(2) 用 Python 的 第三方库运行 JavaScript,直接采集你在浏览器里看到的页面(这个比较好)。