前言
最近在学习Nodejs，想做个小项目练练手，查了一下资料，发现用nodejs做爬虫好像不错，于是参考了这个例子NodeJs妹子图爬虫，也做了个爬虫项目。
参考资料：
1.Node.js 教程
2.Request模块
3.cheerio模块
4.async模块
5.mkdirp模块
6.path模块
简介
目标网站：新世界大门
主要功能：爬取设定的页面，下载妹子图，每页的图分别放进一个文件夹，效果如下：
文件夹
运行图
重点
1.获得所在页面的图片地址，用浏览器按F12查看所在页面的代码：
图片地址
用cheerio模块选择到图片地址。
2.获得所在页面的全部地址，查看代码可知，只有一张图片，通过按下全部图片才可以加载完全部图片，通过图片地址可得规律，按数字1开始排序，所以只要得到最后的数字即可，通过页面可得：
总页数
3.用了async模块控制并发量，如果不控制并发去请求，并发请求量过大，受到带宽限制，容易丢图。所以用了async来控制并发，减少丢图情况，带宽大朋友的可以加大点并发试试。我说说我用的情况吧，最多请求数50个链接（不敢请求太多，怕搞垮别人服务器），每个链接大约35张左右图片，大概50*35=1750张图片下载，50秒左右下完，跟带宽也有关系。
代码
//author='niansen'
var request = require('request');
var cheerio = require('cheerio');
var path = require('path');
var fs = require('fs');
var async = require('async');
var mkdirp = require('mkdirp');
// 需要爬的网址
function getUrls() {
var urls = []
, baseUrl = 'http://www.mmjpg.com/mm/';
for (var i = 484; i < 485; i++) {
var tmp = baseUrl + i;
urls.push(tmp);
var dir='./mei/'+i;
//创建目录
mkdirp(dir, function(err) {
if(err){
console.log(err);
}
else console.log(dir+'文件夹创建成功!');
});
}
return urls;
}
var urls = getUrls();
async.eachSeries(urls, function (url, callback) {
fetchUrl(url, callback);
}, function (err, result) {
console.log('大门已经全部打开，安静等待下载吧。');
});
// 抓取网页内容
function fetchUrl(url,callback) {
var options = {
url: url,
headers: {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.99 Safari/537.36',
'Connection':'keep-alive'
}
};
console.log('打开新世界大门：'+options.url);
request(options, function (error, response, body) {
if(error) console.log(error);
else console.log('成功打开新世界大门'+options.url);
if (!error && response.statusCode == 200) {
acquireData(options.url,body);
callback(null, null);
}
})
}
function acquireData(url,data) {
var $ = cheerio.load(data);
var meizi = $('#content img').toArray();
var mm= $('#page a').eq(6).text();
console.log('获得:'+mm+'张妹子图');
var list=url.split('/');
for (var i=1; i<mm;i++){
var imgsrc =path.dirname(meizi[0].attribs.src)+'/'+i+'.jpg';
console.log(imgsrc);
var filename = parseUrlForFileName(imgsrc); //生成文件名
downloadImg(imgsrc,filename,'./mei/'+list[4],function() {
console.log(filename + ' done');
});
}
}
function parseUrlForFileName(address) {
var filename = path.basename(address);
return filename;
}
var downloadImg = function(uri, filename, dir, callback){
request({uri: uri, encoding: 'binary'}, function (error, response, body) {
if (!error && response.statusCode == 200) {
if(!body) console.log("(╥╯^╰╥)哎呀没有内容。。。")
fs.writeFile(dir+'/'+filename, body, 'binary', function (err) {
if (err) {console.log(err);}
console.log('o(*￣▽￣*)o偷偷下载'+dir+'/'+filename + ' done');
});
}
});
};
最后
本文章只是用于技术交流，请勿用于商业用途，请勿长时间大并发请求，也不要恶意攻击。如文章涉及侵权或其他不良影响，请告知我。最后说一句，运行成功的朋友请注意身体。
