前言
闲扯一些没用的，写这篇文章之前是有点私心的，因为之前评论某简书大v的文章是鸡汤，瞬间被拉黑，连个解释和说明的机会都没有，文章语言干涩，内容平平，于是就好奇到底是些什么样的人喜欢和吹捧这样的鸡汤作者。
所谓技术可以解惑答疑，所以我就爬来了该作者的所有的文章，每篇文章的阅读数，赞数，评论数，赞赏数，赞赏者，评论者，入选的专题。
- 通过阅读数，赞数，评论数，赞赏数可以看出该作者的热度曲线，以及未来趋势。
- 通过阅读数，赞数，评论数，赞赏数的一定权值得出查看人民群众最喜爱的文章排序。
- 通过赞赏，评论者的次数和一定权值（赞赏权值更高），得出最忠实的粉丝。
- 将题目和专题可以得出高频词汇。
这些数据不多，但是因为作者文章够多，所以足够用来为该作者和其分析进行简单的建模和画像。我看了其排名前十的文章，忠实粉丝，又看了看高频词汇，心口的那些疑问也就豁然开朗了。
但是转念一想，你看看简书首页推荐，也就差不多明白是什么当道，再者说了，作者写什么样的文章，什么水平的粉丝关注也本与我无关，腥的和素的谈不上好坏，更枉论高低。
所以尽管初衷与技术无关，最终的还是回归技术本身。
JSoup使用
简介
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下：
- 从一个URL，文件或字符串中解析HTML；
- 使用DOM或CSS选择器来查找、取出数据；
- 可操作HTML元素、属性、文本；
依赖
compile 'org.jsoup:jsoup:1.9.2'
API
因为这里是JSoup的简单使用，并不能展现JSoup的强大功能，这里只用到了简单的JSoup的API和Html基础知识。
- 获取Document
String baseURL = "http://www.jianshu.com/u/" + uid;
Document personalInfo= Jsoup.connect(baseURL).get();
- 获取Elements
Elements noteList = document.select("ul.note-list");
Elements li = noteList.select("li");
- 获得标签文本
String content = li.text().trim();
文档
中文文档 : https://jsoup.org/cookbook/
英文文档 : http://www.open-open.com/jsoup/
文章信息爬取
网页分析
这里需要简单的Html基础，简单的分析一下简书的作者文章信息页面的布局，找到相应的Elements,对于这个简单的入门的爬虫来说，这恐怕是最复杂的一个步骤了。
一目了然，所有关于这篇文章的所有内容都可以获取到。
下面我们简单的分析一下他的结构：
代码实现
代码很简单，将获取信息的代码放在子线程里面执行即可，当然这个爬虫并没有爬起来。
new Thread() {
@Override
public void run() {
int page = 1;
try {
String uid = "1441f4ae075d";
String baseURL = "http://www.jianshu.com/u/" + uid;
Document personalInfo= Jsoup.connect(baseURL).get();
author.setName(personalInfo.select("a.name").text());
author.setArticleNum(Integer.parseInt(personalInfo.select("div.meta-block").select("p").get(2).text().trim()));
while (true){
Document doc = Jsoup.connect(baseURL +"?page=" + page).get();
Elements noteList = doc.select("ul.note-list");
Elements li = noteList.select("li");
if (li == null || articleList.size() == author.getArticleNum()){
break;
}
else{
for (Element element : li) {
Article article = new Article();
article.setTitle(element.select("a.title").text());
article.setAbstractStr(element.select("p.abstract").toString());
article.setReadNum(Integer.parseInt(element.select("div.meta").get(0).select("a").get(0).text().trim()));
article.setCommentNum(Integer.parseInt(element.select("div.meta").get(0).select("a").get(1).text().trim()));
article.setLikeNum(Integer.parseInt(element.select("div.meta").get(0).select("span").get(0).text().trim()));
if (element.select("div.meta").get(0).select("span").size() == 2) {
article.setMoneyNum(Integer.parseInt(element.select("div.meta").get(0).select("span").get(1).text().trim()));
}
if(!articleList.contains(article)){
articleList.add(article);
System.out.println(article.getTitle());
System.out.println(article.getReadNum());
System.out.println(article.getCommentNum());
System.out.println(article.getLikeNum());
System.out.println(article.getMoneyNum());
}
}
page++;
}
}
System.out.println("总共获得文章篇数 ：" + articleList.size());
}
catch(Exception e){
e.printStackTrace();
System.out.println("Exception");
}
}
}.start();
