1.Mac OS X环境下载安装PhantomJS
在终端键入如下命令
brew update
brew install phantoms
然后可以验证phantomjs是否安装成功，键入
phantomjs --version
可以看到一个版本号，如：2.1.1
2.测试phantomjs
- 新建一个test.js文件，键入如下代码
console.log('Hello Word');
phantom.exit();
- 保存后在终端cd到此test.js文件的父文件夹下，再输入命令
phantomjs test.js
会打印Hello Word在终端。
3.熟悉phantoms
新建一个test2.js文件，键入如下代码
console.log('Loading a web page');
var page = require('webpage').create();
var url = 'https://github.com/SoftProgramLX?tab=repositories';
page.open(url, function(status) {
if(status != "success") {
console.log('FAIL to load the address');
phantom.exit();
} else {
console.log('Page is loaded!');
}
page.evaluate(function() {
// window.scrollTo(0,10000);//滚动到底部
//window.document.body.scrollTop = document.body.scrollHeight;
window.setTimeout(function() {
var plist = document.querySelectorAll("a");
var len = plist.length;
while(len) {
len--;
var el = plist[len];
el.style.border = "1px solid red";
}
}, 5000);
});
console.log(page.evaluate(function() {
var d = ''
var c = document.querySelectorAll('.repo-list-name > a')
var l = c.length;
for(var i = 0; i < l; i++) {
d = d + c[i].textContent + '\n'
}
d = d + '共有'+ l + '个demo' + '\n'
return d
}))
window.setTimeout(function() {
page.render("js.png");
phantom.exit();
}, 5000 + 500);
});
功能：
a.将打开的网页里的所有链接都加上"1px solid red"这样的边框。如下图：
js.png
b.将将网页截屏保存为js.png。如上图
c.将我的github里的demo名称都打印到终端或保存到txt文件。
- 输入命令
phantomjs test2.js
后打印到了终端，如下图：
0488388C-6C36-44F5-B03C-F2D9B7AF35D5.png
- 输入命令
phantomjs test2.js > result.txt
后保存到了txt文件，如下图：
64875951-4A04-496A-AF5F-DF60674AECD5.png
代码解析：
- 本例用我的github网址做测试，使用page.open(url, function(status)打开网址。
- phantom.exit();需要关闭PhantomJS。
- page.evaluate()提供了在page打开页面的上下文执行function的功能。
- document.querySelectorAll("a")；这是查询所有的a元素。为了加上边框。
- document.querySelectorAll('.repo-list-name > a')；这是查询class为repo-list-name的元素的直接后代a元素。为了取到所有demo的名称。
熟悉js与css是更好的操作PhantomJS爬虫技术的必要条件。
QQ:2239344645 我的github
