众所周知，简书上面的好文章还是很多的。可是，有些时候在没网的情况下我们看不了简书.....
这能难倒我们程序员？ 正好最近看了点python 索性用python写个爬虫抓点文章保存起来，以备不时之需。
那么做什么事情总得有个思路吧。我的思路就是：先获得用户页面的html代码，然后找到文章的链接，把这些链接存到list中。然后针对每个文章链接，抓取p标签下的文字。最后写入到txt。
本来想在windows上写的 ，但是安装lxml时出说要安装vs2010，总之麻烦不断。最后我实在ubuntu上写的。还是 ubuntu方便啊
#coding=utf-8
import requests
from bs4 import BeautifulSoup
import os
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}
list1=[] #存储链接
def getUrl(url):#获得简书用户的文章链接
start_html = requests.get(url, headers=headers) #获得网页
Soup=BeautifulSoup(start_html.text,'lxml') #调用bs4
p_list=Soup.find_all("h4")# 找出所有h4标签里面的内容
Title=str(Soup.find('title'))#得到标题
#Tlen=len(Title)
Title=Title[7:len(Title)-8]#去掉标签等乱七八找的东西
#写入txt
for p in p_list:
pstr=str(p)
ple=len(pstr)
pos=pstr.find('href')+6;
list1.append('http://www.jianshu.com'+pstr[pos:pos+15])
return Title
def getTxt(url): #获得链接里面的文本
start_html = requests.get(url, headers=headers) #获得网页
Soup=BeautifulSoup(start_html.text,'lxml') #调用bs4
p_list=Soup.find_all('p')# 找出所有p标签里面的内容
Title=str(Soup.body.h1)#把得到标题
#Tlen=len(Title)
Title=Title[18:len(Title)-5]#去掉标签等乱七八找的东西
#写入txt
with open(Title+'.txt','w') as f:
for p in p_list:
pstr=str(p)
plen=len(pstr)
if pstr.find('class')>0:
continue;
s=pstr[3:plen-4];
tmp=''
mark=0
for sub_s in s:#去掉里面 乱七八糟的标签
if sub_s=='<':
mark=1
if sub_s=='>':
mark=0
if mark==1:
continue
elif sub_s!='>':
tmp=tmp+sub_s
f.write(tmp+'\n')
if __name__=='__main__':
name=getUrl('http://www.jianshu.com/users/d699edde9c0e/latest_articles')
pat=str(name[0:len(name)-8])
print(pat)
os.makedirs(os.path.join("/home/guanjun/桌面/Read",pat))
s='/home/guanjun/桌面/Read/'+pat
os.chdir(s)
#print(s)
for url in list1:
print("文章链接:"+url)
if len(list1)==0:
print('该网页下没有要爬去的链接')
else:
for url in list1:
getTxt(url)
print('爬取完成!!')
相应的库得提前安装...比如 pip install beautifulsoup4
http://www.cnblogs.com/pk28/articles/6130984.html
