文章概要
使用nodejs + cheerio 对极客学院的nodejs课程数据进行爬取。统计nodejs系列课程学习总人数，并记录每个课程的课程名、课程介绍、链接地址、学习人数。
关于cheerio的使用，请参考我的另外一篇文章 《cheerio 使用初步》
准备
- 对应的DOM结构如下
-
我希望的到的是如下
课程名称: Node.js 异步优化 课程介绍：本课程作为 Node.js 进阶提升系列的第一课，主要讲解 Node.js 的异步代码编程习惯以及异步代码编程会带来的潜在问题。通过本课程的学习，学员将学会如何将 Node.js 的异步代码进行改良优化。 课程链接：4510人学习 学习人数：http://www.jikexueyuan.com/course/2052.html
代码 crawler.js
var http = require('http');
var cheerio = require('cheerio');
var fs = require('fs')
var url = 'http://www.jikexueyuan.com/course/nodejs/';// 要爬取的网址
function filterHtml(html){
var $ = cheerio.load(html);
var lesson_list = $('.lesson-list').find('ul').children('li');//nodejs 类型下所有课程
//预期想抓取的每个课程结构
/*[{
lesson_name: '',
lesson_desc:'',
lesson_num:'',
lesson_href:''
}]*/
var nodeData = {
lessonersNum:0,
dataArray:[]
};
var lessonersTotalNum = 0;
lesson_list.each(function(item) {
var lesson = $(this); //获得每个课程li
var lesson_box = lesson.find('.lessonimg-box');
var lesson_href = $(lesson_box.find('a')[0]).attr('href');//课程链接
var lesson_infor = lesson.find('.lesson-infor');//课程详情
var lesson_name = $(lesson_infor.find('.lesson-info-h2').find('a')[0]).text();//课程名
var lesson_desc = lesson_infor.find('p').text().trim();//课程介绍
var lesson_num = lesson_infor.find('.timeandicon').find('.learn-number').text();
lessonersTotalNum += parseInt(lesson_num);
var lessonData = {
lesson_name: lesson_name,
lesson_desc:lesson_desc,
lesson_num:lesson_num,
lesson_href:lesson_href
}
nodeData.dataArray.push(lessonData)
})
nodeData.lessonersNum = lessonersTotalNum;
return nodeData;
}
function printInfo(info, course) {
var desStr = course + '系列共有: ' + info.dataArray.length + '门课程,总学习人数：' + info.lessonersNum +'\r\n'
console.log(desStr);
fs.writeFileSync('./output.txt',desStr, {flag:'a'})
console.log('********** 具体信息如下 **********'+ '\r\n');
info.dataArray.forEach(function(item){
var itemDesc = '课程名称: ' + item.lesson_name + '\r\n' +
'课程介绍：' + item.lesson_desc + '\r\n' +
'课程链接：' + item.lesson_num + '\r\n' +
'学习人数：' + item.lesson_href + '\r\n\r\n';
console.log(itemDesc);
fs.writeFileSync('./output.txt',itemDesc, {flag:'a'})
})
}
http.get(url, function(res){
var html = '';
res.on('data', function(data) {
html += data;
})
res.on('end', function(){
var output = filterHtml(html);
printInfo(output, 'nodejs')
})
}).on('error', function() {
console.log('出错了')
})
拉出啦溜溜
执行
npm install --save cheerio
node crawler.js
可以看到输出了一个文档output.txt同时控制台也有相应的内容。这篇文章只是练练手，下篇文章中，我会将代码中的回调写法改成Promise方式，同时，并发的请求其他课程的内容，然后对Promise语法，bluebird的使用进行展开，然后分享一些收藏的文章，敬请期待吧~
