先介绍一下,
superagent(http://visionmedia.github.io/superagent/) 是个 http 方面的库,可以发起 get 或 post 请求。
cheerio(https://github.com/cheeriojs/cheerio) 大家可以理解成一个 Node.js 版的 jquery,用来从网页中以 css selector 取数据,使用方式跟 jquery 一样一样的。
1.新建文件夹并进入:mkdir node && cd node
2.npm init 生成Package.json
3.npm install express superagent cheerio --save (后面的save很重要 会把依赖添加到package.json 部署到服务器时方便 直接
npm install)
4.touch app.js
5.vim app.js
6.app.js的代码写入
var express = require('express');
var superagent = require('superagent');
var cheerio = require('cheerio');
var app = express();
app.get('/',function(req,res,next){
superagent.get('https://cnodejs.org/')
.end(function(err,sres){
if(err){
return next(errr);
}
var $ = cheerio.load(sres.text);
var items = [];
$('#topic_list .topic_title').each(function(idx,element){
var $element = $(element);
items.push({
title: $element.attr('title'),
href: $element.attr('href')
});
});
res.send(items);
});
});
app.listen(3000,function(req,res){
console.log("app work at 3000");
});
7.访问localhost:3000 就可以看到爬下来东西