java爬虫爬取网站使用多线程

pom 如下:

org.apache.httpcomponents

httpclient

4.5.3

org.jsoup

jsoup

1.10.3

org.springframework

spring-jdbc

4.2.6.RELEASE

mysql

mysql-connector-java

5.1.41

c3p0

0.9.1.2

com.alibaba

fastjson

1.2.31

com.google.code.gson

gson

2.8.1

redis.clients

jedis

2.9.0

代码演示如下:

package cn.itcast.huxiu.query;

import java.util.ArrayList;

import java.util.concurrent.ArrayBlockingQueue;

import java.util.concurrent.ExecutorService;

import java.util.concurrent.Executors;

import org.apache.http.HttpEntity;

import org.apache.http.client.entity.UrlEncodedFormEntity;

import org.apache.http.client.methods.CloseableHttpResponse;

import org.apache.http.client.methods.HttpGet;

import org.apache.http.client.methods.HttpPost;

import org.apache.http.impl.client.CloseableHttpClient;

import org.apache.http.impl.client.HttpClients;

import org.apache.http.message.BasicNameValuePair;

import org.apache.http.util.EntityUtils;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

import com.google.gson.Gson;

import cn.itcast.huxiu.Article;

import cn.itcast.huxiu.ArticleDao;

import cn.itcast.huxiu.ResponseJson;

public class HuXiuTest {

public static final ArticleDao articleDao = new ArticleDao();

public static final ArrayBlockingQueue blockingQueue = new ArrayBlockingQueue(1000);

public static final ExecutorService threadPool = Executors.newFixedThreadPool(10);

public static final String prefix = "https://www.huxiu.com/article/";

public static final String end = ".html";

public static void main(String[] args) throws Exception {

//创建线程

for(int i=0;i<30;i++){

threadPool.execute(new ProcessPagingThreadQueue());

}

// 爬取首页的信息

String indexHtml = getIndex();

// 解析首页得到首页里面的所有的id(根据id来查询每一个页面的信息) 存储到集合里面

parseIndexHtml(indexHtml);

/**

* 在首页的信息爬取了之后就要准备爬取分页的信息点击加载更多只时就相当与是点击了下一页点击之后就会发送一个请求

* 这个请求就可以加载下一页的数据了得到的下一页所有数据之后就要解析每一页的数据

// 根据首页的信息来得到加载下一页数据按钮的数据值

String last_dateline = getValueAndIndexHtml(indexHtml);// 得到没加载一页数据的数值

// 点击加载下一页的数据

for (int page = 2; page < 10; page++) {

// 获得请求的路径

String url = "https://www.huxiu.com/v2_action/article_list";

HttpPost httpPost = new HttpPost(url);

// 请求参数

ArrayList list = new ArrayList();

list.add(new BasicNameValuePair("huxiu_hash_code", "647893ceb60219effa36193702fd89a3"));

list.add(new BasicNameValuePair("page", page + ""));

list.add(new BasicNameValuePair("last_dateline", last_dateline));

// 参数设置

httpPost.setEntity(new UrlEncodedFormEntity(list));

// User-Agent

httpPost.setHeader("User-Agent",

"Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0");

// 发起请求

CloseableHttpClient httpClient = HttpClients.createDefault();

CloseableHttpResponse execute = httpClient.execute(httpPost);

// 在发送请求之后页面没有跳转因为是在和首页的同一个页面下所以不用判断只有页面跳转才有状态码的判定

// 请求发送之后就有返回值了主要注意的是返回值是json数据的形式来进行返回的

String jsonDate = EntityUtils.toString(execute.getEntity());

// 得到json数据值就要水对json的数据进行解析解析json的数据使用到的是gson

Gson gson = new Gson();

// 将数据进行解析并且映射到实体类中实体类中是根据返回的参数来进行设置的

// 得到分页数据的所有的信息也就是分页数据的url

ResponseJson fromJson = gson.fromJson(jsonDate, ResponseJson.class);

// 得到的分页的每一个数据每一个URL信息

String data = fromJson.getData();// 得到分页的信息

// 对分页的数据信息进行解析也就要取得每一个详情信息页面的id值

getDate(data);// 得到所有id值的集合

System.out.println(page+"&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&");

}

private static void getDate(String data) {

if (data != null) {

Document document = Jsoup.parse(data);

Elements elements = document.select("div[data-aid]");

for (Element element : elements) {

try {

blockingQueue.put(element.attr("data-aid"));

System.out.println(element.attr("data-aid"));

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

// 得到加载下一页信息的数据值

private static String getValueAndIndexHtml(String indexHtml) {

if (indexHtml != null) {

Document document = Jsoup.parse(indexHtml);

Elements select = document.select("div[data-last_dateline]");

return select.get(0).attr("data-last_dateline");

}

return null;

}

public static Article parseXianQingYeMian(String html) {

if (html != null) {

Article article = new Article();

// 将详细页面的信息转换为文档对象

Document document = Jsoup.parse(html);

// 获取文章的标题信息

String ownText = document.select(".t-h1").get(0).ownText();

article.setTitle(ownText);

// 获取作者

String author = document.select(".author-name").get(0).text();

article.setAuthor(author);

// 获取时间根据页面上的信息可知时间有两种表示

Elements elements = document.select("span[class=article-time pull-left]");

if (elements.size() == 0) {

String createTime = document.select(".article-time").get(0).ownText();

article.setCreateTime(createTime);

} else {

String createTime = elements.get(0).ownText();

article.setCreateTime(createTime);

}

// 获取文章内容

String content = document.select(".article-content-wrap").get(0).text();

article.setContent(content);

// 获取点赞

article.setZan(document.select(".num").get(0).ownText());

// 获取评论

article.setPl(document.select(".article-pl").get(0).ownText());

System.out.println(article);

return article;

}

return null;

}

// 解析数据得到url

private static void parseIndexHtml(String indexHtml) {

// TODO Auto-generated method stub

if (indexHtml != null) {

// 解析得到的页面的信息将其变成文档对象

Document document = Jsoup.parse(indexHtml);

// 得到document对象后就可以通过document对象来得到需要的东西

Elements elements = document.select(".mod-info-flow div[data-aid]");

for (Element element : elements) {

String aid = element.attr("data-aid");

try {

/**

* 在单线层转变多线程中主要的几个是队列线程的创建线程池的创建

* 这个主要是创建队列并且把解析数据的详情的id传给了这个队列

* 队列的主要的作用是防止单个线程被同时访问造成拥堵引起并发的问题

* 队列就把这几个问题给解决了

blockingQueue.put(aid);

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

// 首页的获取

private static String getIndex() throws Exception {

String url = "https://www.huxiu.com";

// 发起一个get请求

HttpGet httpGet = new HttpGet(url);

// 设置请求头

httpGet.addHeader("User-Agent",

"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36");

// 返回页面的信息

return getHtml(httpGet);

}

// 执行发送请求的方法

public static String getHtml(HttpGet httpGet) throws Exception {

// TODO Auto-generated method stub

String html = null;

CloseableHttpClient httpClient = HttpClients.createDefault();

CloseableHttpResponse execute = httpClient.execute(httpGet);

// 判断响应码是否为200

if (execute.getStatusLine().getStatusCode() == 200) {

HttpEntity entity = execute.getEntity();

html = EntityUtils.toString(entity);

System.out.println(html);// 返回的的页面的所有信息

}

return html;

}

**********************************************************************************************************************

代码创建线程

package cn.itcast.huxiu.query;

import org.apache.http.client.methods.HttpGet;

import cn.itcast.huxiu.Article;

public class ProcessPagingThreadQueue extends Thread {

public void run() {

// TODO Auto-generated method stub

while (true) {

//得到每一给详情页面的id 这里面用到了while循环因为存在队列里面的id值不知道是多少个而且出来也是一个一个的出来的所以就使用到了循环

try {

String parseInt = HuXiuTest.blockingQueue.take();//得到详情页的id

int id = Integer.parseInt(parseInt);

//创建发送请求

HttpGet httpGet = new HttpGet(HuXiuTest.prefix + id + HuXiuTest.end);

// 消息头

httpGet.addHeader("user-agent",

"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36");

String html = HuXiuTest.getHtml(httpGet);//得到页面的详情信息

Article article = HuXiuTest.parseXianQingYeMian(html);

if(article != null){

article.setId(id);

// article.setUrl(HuXiuTest.prefix + id + HuXiuTest.end);

HuXiuTest.articleDao.save(article);

}

} catch (Exception e) {

// TODO Auto-generated catch blockArticle

e.printStackTrace();

}

**********************************************************************************************************************

实体类

package cn.itcast.huxiu;

public class Article {

private int id;

private String title;

private String author;

private String createTime;

private String sc;

private String zan;

private String pl;

private String content;

private String url;

public int getId() {

return id;

}

public void setId(int id) {

this.id = id;

}

public String getTitle() {

return title;

}

public void setTitle(String title) {

this.title = title;

}

public String getAuthor() {

return author;

}

public void setAuthor(String author) {

this.author = author;

}

public String getCreateTime() {

return createTime;

}

public void setCreateTime(String createTime) {

this.createTime = createTime;

}

public String getSc() {

return sc;

}

public void setSc(String sc) {

this.sc = sc;

}

public String getZan() {

return zan;

}

public void setZan(String zan) {

this.zan = zan;

}

public String getPl() {

return pl;

}

public void setPl(String pl) {

this.pl = pl;

}

public String getContent() {

return content;

}

public void setContent(String content) {

this.content = content;

}

public String getUrl() {

return url;

}

public void setUrl(String url) {

this.url = url;

}

@Override

public String toString() {

return "Article [id=" + id + ", title=" + title + ", author=" + author + ", createTime=" + createTime + ", sc="

+ sc + ", zan=" + zan + ", pl=" + pl + ", content=" + content + ", url=" + url + "]";

}

数据库连接

package cn.itcast.huxiu;

import org.springframework.jdbc.core.JdbcTemplate;

import com.mchange.v2.c3p0.ComboPooledDataSource;

public class ArticleDao extends JdbcTemplate{

public ArticleDao() {

// 创建C3P0的datasource 1.配置 2.代码

ComboPooledDataSource dataSource = new ComboPooledDataSource();

// 1.url

// 2.driver

// 3.username&password

dataSource.setUser("root");

dataSource.setPassword("123");

dataSource.setJdbcUrl("jdbc:mysql://localhost:3306/spider?characterEncoding=utf-8");

setDataSource(dataSource);

}

public void save(Article article) {

String sql = "INSERT INTO huxiu_article (id, title, author, createTime, zan, pl, sc, content, url ) VALUES( ?,?,?,?,?,?,?,?,?)";

update(sql, article.getId(),article.getTitle(),article.getAuthor(),article.getCreateTime(),article.getZan(),article.getPl(),article.getSc(),article.getContent(),article.getUrl());

}

实体类

package cn.itcast.huxiu;

public class ResponseJson {

private int result;

private String msg;

private String data;

private double total_page;

private double last_dateline;

public int getResult() {

return result;

}

public void setResult(int result) {

this.result = result;

}

public String getMsg() {

return msg;

}

public void setMsg(String msg) {

this.msg = msg;

}

public String getData() {

return data;

}

public void setData(String data) {

this.data = data;

}

public double getTotal_page() {

return total_page;

}

public void setTotal_page(double total_page) {

this.total_page = total_page;

}

public double getLast_dateline() {

return last_dateline;

}

public void setLast_dateline(double last_dateline) {

this.last_dateline = last_dateline;

}

@Override

public String toString() {

return "ResponseJson [result=" + result + ", msg=" + msg + ", data=" + data + ", total_page=" + total_page

+ ", last_dateline=" + last_dateline + "]";

}

java架构、java高级开发、nginx、dubbo、java分布式架构、redis、jvm、多线程、java网络编程、netty、kafka、spring，Mybatis，高可用，高性能

需要学习资料和路线可以加Java高级交流群：( 725633148 ) 每晚8点高清在线直播与你分享java企业当下招聘人才需求，怎么学Java，和学习什么内容，相信你了解之后对你今后学习Java会有非常大的帮助

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 205,386评论 6赞 479
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 87,939评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 151,851评论 0赞 341
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,953评论 1赞 278
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,971评论 5赞 369
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,784评论 1赞 283
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,126评论 3赞 399
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,765评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,148评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,744评论 2赞 323
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,858评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,479评论 4赞 322
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,080评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,053评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,278评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,245评论 2赞 352
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,590评论 2赞 343

java爬虫爬取网站使用多线程

推荐阅读更多精彩内容