之前爬取的是第一页的多个歌单，现在增加爬取多页歌单，先看第一页url：
再看第二页的url：
urls = [] #一个空列表，用来存放第1、2、3、等的url
for i in range(3): #其中3是要爬取的页数，可以自由设置，当然，要在网易云的歌单范围内
urls.append('https://music.163.com/discover/playlist/?&limit=35&offset='+str(i*35))
urls是这样的
['https://music.163.com/discover/playlist/?&limit=35&offset=0', 'https://music.163.com/discover/playlist/?&limit=35&offset=35', 'https://music.163.com/discover/playlist/?&limit=35&offset=70']
那按照前边第一二篇文章的步骤，我得去分析一下第二页，第三页，或者后边的歌单，然后取出歌单id呀，好吧，行动，我选了第二页歌单，打开开发者工具，刷新页面，在Network中看返回给我们的东西，我选了红框中的歌单的id去搜了一下，发现在一个Name叫?order=hot&cat...的里边，那根据之前的一次次尝试，那其他歌单的id肯定也在里边无疑了，别问我怎么找到?order=hot&cat这个的，一个个试的
import requests
from bs4 import BeautifulSoup
def getHtml(url,headers):
try:
r = requests.get(url,headers = headers)
r.raise_for_status()
r.encoding = 'utf-8'
return r.text
except:
print('爬取失败')
return ''
def htmlParser(html):
try:
id_list = []
soup = BeautifulSoup(html,'html.parser')
li = soup.select('.f-hide li a')
for i in li:
id_list.append(i['href'].split('=')[-1])
return id_list
except:
print('获得id出错')
return ''
def get_name_singer(html):
name_sig_list = []
soup = BeautifulSoup(html,'html.parser')
name = soup.select('.f-ff2')
singer = soup.select('p.des.s-fc4 span a')
name_sig_list.append(name[0].text)
name_sig_list.append(singer[0].text)
return name_sig_list
def getMusic(lst,nslst,m,n):
urls = []
for id in lst:
urls.append('http://music.163.com/song/media/outer/url?id='+id+'.mp3')
for i in range(len(urls)):
try:
r = requests.get(urls[i])
with open('music/'+nslst[i][1].strip()+','+nslst[i][0].strip()+'.mp3','ab') as f:
f.write(r.content)
print('第{}页第{}个歌单第{}首音乐下载成功'.format(n,m,i+1))
except :
print('第{}页第{}个歌单第{}首音乐下载失败'.format(n,m,i+1))
continue
f.close()
def getplayList(html):
playlists = []
soup = BeautifulSoup(html, 'html.parser')
id = soup.select('.dec a')
for i in id:
playlist = []
playlist.append(i['href'])
playlist.append(i['title'])
playlists.append(playlist)
return playlists
def main():
urlls = [] #用来存取每首歌的url
urls = [] #用于存放每一个页面的url，即第1、2、3、...的url
name_singer_list = [] #y用于存放每首歌的名字和歌手
start_url_list = [] #用于存放每个歌单的url，最开始是从歌单开始分析，所以用这个名字
headers = {
'User-Agent': 'Mozilla/5.0'
}
n = int(input('请输入您想要爬取的页数:'))
for i in range(n): #构造爬取几页歌单的url
gedan_n = 0
urls.append('https://music.163.com/discover/playlist/?&limit=35&offset='+str(i*35))
for url in urls: #爬取n页歌单
playhtml = getHtml(url,headers=headers)#获得歌单页面
playidlist = getplayList(playhtml) #解析出歌单的id、每个歌单名字
for u in playidlist: #构造每个歌单url，用于下载歌单中的音乐
start_url_list.append('https://music.163.com'+u[0])
for url in start_url_list:
gedan_n += 1
html = getHtml(url,headers=headers) #获得每个歌单页面
idlist = htmlParser(html) #得到每首歌的id
for id in idlist:
urlls.append('https://music.163.com/song?id='+id) #构造每首歌的url，用于获取歌曲名字和歌手信息
for url in urlls:
html = getHtml(url,headers) #获得每首歌曲页面
name_singer_list.append(get_name_singer(html))#解析出歌曲名字和歌手信息，存为一个列表
getMusic(idlist,name_singer_list,gedan_n,i+1) #下载音乐
main()
这里有一个问题，我爬了两个歌单，但我保存下来的音乐里边只有第一个歌单的数量，也用了追加写，等整明白了再来更改。
