node爬取某站图片

依赖包安装:npm install cheerio download async superagent superagent-charset mkdirp
superagent ajax请求库
cheerio node版的jquery,获取dom节点
download 下载文件库
superagent-charset 设置字符集,不然获取到的htmlDoc会有中文乱码
async mapLimit控制请求并发数,第一个回调是linkArr每个item项都执行的函数,处理完想要的数据后并return,第二个回调是linkArr每项都执行完后执行,返回一个err,和results,results就是包裹着第一个函数return值的数组(有点像promise.all)

const request = require('superagent')
require('superagent-charset')(request)
const cheerio = require('cheerio')
const download = require('download')
const mkdirp = require('mkdirp')
const async = require('async')

var linkArr = [],
    domain = 'https://www.tupianzj.com',
    saveImgPath = './img/';

let config = {};
    config.num = 3;

request('GET', `https://www.tupianzj.com/meinv/xiezhen/list_179_${config.num}.html`) 
  .end(function(err, res){
    if (!err) {

        let $ = cheerio.load(res.text);

        let links = $('.list_con_box_ul li>a');

        for (let i = 0; i < links.length; i++) {
            linkArr.push(domain + $(links[i]).attr('href'))
        }
        
        async.mapLimit(linkArr,1,async function(url) {

            let { text } = await request(url).charset('gbk'),
                $ = cheerio.load(text),
                $pages = $('.pages li>a'),
                page_num = $pages.first().text().replace(/\D/g,''),
                item_link = $pages.eq(-2).attr('href'),
                itemLinkArr = [],
                itemDomain = url.replace(/\d+\.html/,''),
                dirname = saveImgPath + $('.list_con>h1').text();
            //创建目录
            mkdirp(dirname);
            for (let i = 1; i <= page_num; i++) {

                let sign = i === 1 ? '' : '_'+i;
                let link = itemDomain + item_link.replace(/_\d+/,sign);
                itemLinkArr.push(link);
            }

            return {itemLinkArr,dirname};
            
        },(err, results) => {

            if (err) throw err

            let allLinkArr = [],allCount,
                index = 0,
                count = 0,
                indexManager = {};
            for (let i = 0; i < results.length; i++) {
                index += results[i].itemLinkArr.length;
                allLinkArr = allLinkArr.concat(results[i].itemLinkArr);
                indexManager[index] = results[i].dirname;
                
            }
            allCount = allLinkArr.length;
            async.mapLimit(allLinkArr,1,async function(url){
    
                let dirIndex = getDirIndex(++count,indexManager);
                let { text } = await request(url);
                let $ = cheerio.load(text);
                let img_src = $('#bigpic img').attr('src');
                await download( img_src, indexManager[dirIndex]); 
                console.log(`图片下载:${count}/${allCount}`)
            },(err,results) => {
                if (err) throw err
            })
                

        })
        
    }else{
        console.log(err)
    }
});

function getDirIndex(count,obj){
    for (let key in obj) {

        if(count <= key){
            return key;
        }
    }
}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,921评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,635评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,393评论 0 338
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,836评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,833评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,685评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,043评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,694评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 42,671评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,670评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,779评论 1 332
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,424评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,027评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,984评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,214评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,108评论 2 351
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,517评论 2 343

推荐阅读更多精彩内容

  • what 一个用于爬取www.nvshens.com上妹子图片的爬虫。如有侵权,马上关闭 why 一张张下实在太麻...
    2c52471f21c8阅读 519评论 0 0
  • Node基本 node的最大特性莫过于基于事件驱动的非阻塞I/O模型。 node通过事件驱动的方式处理请求,无须为...
    AkaTBS阅读 2,157评论 0 11
  • 一、Demo介绍 在每周一次的公司内部分享上,我分享了关于node的一个爬虫的Demo。通过这个Demo,分享了关...
    RayLightUp阅读 1,185评论 1 7
  • 使用node抓取某个页面的所以新闻链接及相关文章链接里面的具体内容 var eventproxy=require(...
    Luo_2a25阅读 341评论 0 0
  • 先来熟悉一下几个框架...为我们的爬虫做一下准备,做成目录的形式,是为了方便阅读,无奈似乎简书不支持我这样写 。。...
    Kris_lee阅读 199评论 0 0