使用工具

爬虫：
Python 3.6
urllib
requests

爬取目标

音悦台任意艺人的mv（最清晰）

步骤

MV-搜索你喜欢的艺人.png

搜索结果.png

点击第一个视频，F12

image.png

在浏览器中输入这个链接看一下：

image.png

这就是mv真实地址了，但是...

image.png

瑟瑟发抖.jpg

我不知道怎么搞这个啊！如果有大佬会的，请一定告诉我，谢谢！

怂了，面向搜索引擎一下，结果找到

image.png

转自：https://www.toubiec.cn/81.html

好吧，这就是我需要的了，将videoId换成我们需要的Id看看

image.png

到此，已经拿到了真实视频地址，再看看mv列表页的总页数，id，mv标题

image.png

周董的mv有1000+，但是只有42页，大胆预测一下，42页应该是封顶了，再看看杨宗纬的

image.png

寻找一下怎么获取总页数

image.png

可以看到pageCount就是总页数了

image.png

删去不必要的参数，访问看一下（懒得装jsonview，看着有点累）：

image.png

这里包含了总页数，id，mv标题

mv真实地址和需要的参数都到手了，整一下代码

1.获取mv总页数：

    def get_page_count(self):
        # 获取mv总页数
        get_page_url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex=1&pageSize=24'\
            .format(keyword)  # keyword是艺人名
        try:
            response = requests.get(get_page_url)
            if response.status_code == 200:
                json = response.json()
                page_count = json.get('pageInfo')['pageCount']  # 获取总页数
                return page_count
            return None
        except ConnectionError:
            return None

2.访问包含mv列表页信息的api接口（返回json）

    def get_index(self, url):
        try:
            response = requests.get(url)
            if response.status_code == 200:
                json = response.json()
                return json
            return None
        except ConnectionError:
            return None

3.获取mv的id、title

   def get_mv_info(self, json):
        # 获取mv的id、标题
        if json.get('videos'):
            items = json.get('videos')['data']
            for item in items:
                video_id = item.get('id')
                title = item.get('title')
                yield {
                    'video_id': video_id,
                    'title': title,
                }

4.通过上文面向搜索引擎找到的包含mv真实地址的api接口，获取mv真实地址

    def get_mv_source_url(self, video_id):
        # 构造mv真实地址
        mv_source_url = 'http://www.yinyuetai.com/api/info/get-video-urls?flex=true&videoId={}'.format(video_id)
        json_dict = requests.get(mv_source_url).json()
        mv_source_dict = {
            'SD_MV': json_dict["hdVideoUrl"] if "hdVideoUrl" in json_dict else None,
            'HD_MV': json_dict["hcVideoUrl"] if "hcVideoUrl" in json_dict else None,
            'FHD_MV': json_dict["heVideoUrl"] if "heVideoUrl" in json_dict else None,
        }

        mv_source_list = []

        for key, value in mv_source_dict.items():
            if value is not None:
                mv_source_list.append(value)
        return mv_source_list

因为很多mv不会有各种画质，所以需要进行一下判断，这里可以保证mv_source_list里的最后一个元素是mv最高画质的真实地址

5.下载最高画质的mv，并根据keyword创建文件夹，下载后的mv文件以mv的title命名

    def download_mv(self, mv_source_list, title, video_id):  # 下载最高品质的视频
        # 创建存放视频的文件夹
        file = 'C:/Users/Administrator/Desktop/{}/'.format(keyword)
        if not os.path.exists(file):
            os.mkdir(file)
            print('创建文件夹：', file)

        # 处理下载过程中的异常
        try:
            # 判断视频文件是否存在，并且给视频文件名做处理，将不合法的字符用'-'替代
            if not os.path.exists(file + clean_title(title) + '-' + str(video_id) + '.mp4'):
                print('Start Download MV：' + title + '...：', mv_source_list[-1])
                urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
                print('MV Download Success：', title)
            else:
                print('MV：{}-已存在'.format(clean_title(title)))
        except socket.timeout:
            # 解决下载时间过长甚至出现死循环的情况
            count = 1
            while count <= 5:
                try:
                    urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
                    print('MV Download Success：', title)
                    break
                except socket.timeout:
                    err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
                    print(err_info)
                    count += 1
                if count > 5:
                    print("Downloading MV Failed!")

需要解释一下的是，文件命名是有规范的：

image.png

如果mv的标题包含这些字符，那就会保存失败，因此我写了一个函数来替换这些非法字符：

def clean_title(filename):
    # 将非法字符替换成'-'
    title = re.sub('[\/:*?"<>|]', '-', filename)
    return title

还有一点是，在我实际运行程序进行下载的时候，会有个别时候，某个mv的下载速度出奇的慢，甚至有僵住的可能，但是如果暂停重新下载，下载速度又很大概率恢复正常，具体原因我不清楚，但是针对这个现象，我设置了一个sockettimeout，表示若下载阻塞超过3秒，就算超时

timeout = 3.0
socket.setdefaulttimeout(timeout)

        except socket.timeout:
            # 解决下载时间过长甚至出现死循环的情况
            count = 1
            while count <= 5:
                try:
                    urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
                    print('MV Download Success：', title)
                    break
                except socket.timeout:
                    err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
                    print(err_info)
                    count += 1
                if count > 5:
                    print("Downloading MV Failed!")

超时后重新进行下载，我给了它5次机会，如果实在太倔强，只能放弃

6.main函数

    def main(self):
        page_count = self.get_page_count()
        mv_count = 0
        for page in range(1, page_count):
            print('Crawl Page:', page)
            url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex={1}&pageSize=24'.format(keyword,
                                                                                                                page)
            json = self.get_index(url)
            for item in self.get_mv_info(json):
                mv_count += 1
                video_id = item['video_id']
                title = item['title']
                mv_source_list = self.get_mv_source_url(video_id)
                self.download_mv(mv_source_list, title, video_id)
                print('已下载MV数量：', mv_count)

程序完整代码：

spider.py

import requests
import urllib.request
import os
import urllib.error
import socket

from common import clean_title

keyword = '周杰伦'
timeout = 3.0
socket.setdefaulttimeout(timeout)


class YinYueTaiSpider(object):
    def get_index(self, url):
        try:
            response = requests.get(url)
            if response.status_code == 200:
                json = response.json()
                return json
            return None
        except ConnectionError:
            return None

    def get_page_count(self):
        # 获取mv总页数
        get_page_url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex=1&pageSize=24'\
            .format(keyword)  # keyword是艺人名
        try:
            response = requests.get(get_page_url)
            if response.status_code == 200:
                json = response.json()
                page_count = json.get('pageInfo')['pageCount']  # 获取总页数
                return page_count
            return None
        except ConnectionError:
            return None

    def get_mv_info(self, json):
        # 获取mv的id、标题
        if json.get('videos'):
            items = json.get('videos')['data']
            for item in items:
                video_id = item.get('id')
                title = item.get('title')
                yield {
                    'video_id': video_id,
                    'title': title,
                }

    def get_mv_source_url(self, video_id):
        # 构造mv真实地址
        mv_source_url = 'http://www.yinyuetai.com/api/info/get-video-urls?flex=true&videoId={}'.format(video_id)
        json_dict = requests.get(mv_source_url).json()
        mv_source_dict = {
            'SD_MV': json_dict["hdVideoUrl"] if "hdVideoUrl" in json_dict else None,
            'HD_MV': json_dict["hcVideoUrl"] if "hcVideoUrl" in json_dict else None,
            'FHD_MV': json_dict["heVideoUrl"] if "heVideoUrl" in json_dict else None,
        }

        mv_source_list = []

        for key, value in mv_source_dict.items():
            if value is not None:
                mv_source_list.append(value)
        return mv_source_list

    def download_mv(self, mv_source_list, title, video_id):  # 下载最高品质的视频
        # 创建存放视频的文件夹
        file = 'C:/Users/Administrator/Desktop/{}/'.format(keyword)
        if not os.path.exists(file):
            os.mkdir(file)
            print('创建文件夹：', file)

        # 处理下载过程中的异常
        try:
            # 判断视频文件是否存在，并且给视频文件名做处理，将不合法的字符用'-'替代
            if not os.path.exists(file + clean_title(title) + '-' + str(video_id) + '.mp4'):
                print('Start Download MV：' + title + '...：', mv_source_list[-1])
                urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
                print('MV Download Success：', title)
            else:
                print('MV：{}-已存在'.format(clean_title(title)))
        except socket.timeout:
            # 解决下载时间过长甚至出现死循环的情况
            count = 1
            while count <= 5:
                try:
                    urllib.request.urlretrieve(url=mv_source_list[-1], filename=file + clean_title(title) + '-' + str(video_id) + '.mp4')
                    print('MV Download Success：', title)
                    break
                except socket.timeout:
                    err_info = 'Reloading for %d time' % count if count == 1 else 'Reloading for %d times' % count
                    print(err_info)
                    count += 1
                if count > 5:
                    print("Downloading MV Failed!")

    def main(self):
        page_count = self.get_page_count()
        mv_count = 0
        for page in range(1, page_count):
            print('Crawl Page:', page)
            url = 'http://soapi.yinyuetai.com/search/video-search?keyword={0}&pageIndex={1}&pageSize=24'.format(keyword,
                                                                                                                page)
            json = self.get_index(url)
            for item in self.get_mv_info(json):
                mv_count += 1
                video_id = item['video_id']
                title = item['title']
                mv_source_list = self.get_mv_source_url(video_id)
                self.download_mv(mv_source_list, title, video_id)
                print('已下载MV数量：', mv_count)


if __name__ == '__main__':
    mv = YinYueTaiSpider()
    mv.main()

common.py（写过滤非法字符的函数）

import re


def clean_title(filename):
    # 将非法字符替换成'-'
    title = re.sub('[\/:*?"<>|]', '-', filename)
    return title

运行程序

image.png

可以看到桌面上已经有了相应文件夹

image.png

下载速度还不错

暂停，重新运行看看：

image.png

由于硬盘空间不够，就不继续运行了

使用

只需修改spider.py里的keyword参数，换成你需要的艺人名即可

keyword = '周杰伦'

最后发现

后来写完了程序...发现了一个音悦台mv1080p的接口，我是懒得重新整了
详情请见：https://www.lylares.com/yinyuetai-videourl-online-analysis-api.html

爬取音悦台任意艺人的mv（最高画质）+批量下载

爬取音悦台任意艺人的mv（最高画质）+批量下载

使用工具

爬取目标

步骤

mv真实地址和需要的参数都到手了，整一下代码

程序完整代码：

spider.py

common.py（写过滤非法字符的函数）

运行程序

使用

最后发现