LeetCode 简介

LeetCode 是一个美国的在线编程网站，它收集了各大公司的经典算法面试题，用户可以选择不同的语言进行代码的在线编写、编译和调试。简单来说，它就是程序员的刷题神器。

概述

项目地址：LeetCode_Helper

Python 实现的 LeetCode 仓库美化程序。爬取 LeetCode-cn AC 的题目描述和提交的最新代码，并整理至相应的文件夹，生成相应的 README 文件。

项目结构：

Leetcode_Helper/
|-- db/
|   |-- leetcode.db(数据库)
|
|-- helper/
|   |-- __init__.py
|   |-- config.py(解析配置文件)
|   |-- constants.py(常数)
|   |-- extractor.py(数据导出类)
|   |-- login.py(模拟登录)
|   |-- main.py(主程序)
|   |-- node.py(解析爬虫获取的数据)
|   |-- problems.py(主逻辑)
|   |-- templates.py(模板)
|   |-- utils.py(工具箱)
|
|-- imgs/
|
|-- tests/
|
|-- config.json(配置文件)
|-- run.py(入口程序)
|-- README.md

本项目参考了:

• leetcode-spider
• LeetCodeCrawler

特点

• 支持爬取题目列表（中英文），保存为指定目录下的 README 和 README_EN 文件
• 支持爬取题目描述（中英文），保存为对应 title 文件夹下的 README 和 README_EN 文件
• 支持爬取用户提交的代码，保存为对应 title 文件夹下的 AC 源码（可以是任意语言）
• 支持修改导出数据的模板
• 异步下载题目描述，高速并发导出文件
• 支持增量更新，当 LeetCode-cn 有新内容（题目/提交的代码）时，可以选择增量形式更新

核心思路

1. 获取 LeetCode-cn 用户 cookies

   class Login:
       '''
       登录 LeetCode-cn, 获取 cookies 值
       '''
       def __init__(self, username, password):
           self.username = username
           self.password = password
           self.__cookies = ''
           self.status = False
   
       def doLogin(self):
           resp = requests.get(LEETCODE, headers=HEADERS)
           token = resp.cookies['csrftoken']
           headers = HEADERS.copy()
           headers.update({
               'referer': LOGIN,
               'x-csrftoken': token,
               'x-requested-with': 'XMLHttpRequest'
           })
           payload = {
               'login': self.username,
               'password': self.password,
               'csrfmiddlewaretoken': token
           }
           cookies = {'csrftoken': token}
           resp = requests.post(
               LOGIN, data=payload, headers=headers, cookies=cookies)
           if resp.status_code == 200:
               self.status = True
               self.__cookies = resp.cookies
               # user = resp.json()['form']['fields']['login']['value']
           if self.status:
               print(f'{self.username} 登录成功！')
           else:
               print('登录失败！')
               print('请检查用户名和密码！')
   
       @property
       def cookies(self):
           if not self.status:
               self.doLogin()
           return self.__cookies
   

2. 从 https://leetcode-cn.com/api/problems/all/ 获取用户解题基本信息以及问题列表

       def __getProblemsJson(self):
           resp = requests.get(PROBLEMS, headers=HEADERS, cookies=self.__cookies)
           if resp.status_code == 200:
               return resp.json()
   

3. 从 https://leetcode-cn.com/graphql 异步访问获取问题描述信息

       async def __getProblemDesc(self, title_slug):
           payload = {
               'query':
               '''
               query questionData($titleSlug: String!) {
                   question(titleSlug: $titleSlug) {
                       questionId
                       content
                       translatedTitle
                       translatedContent
                       similarQuestions
                       topicTags {
                           name
                           slug
                           translatedName
                       }
                       hints
                   }
               }
               ''',
               'operationName':
               'questionData',
               'variables': {
                   'titleSlug': title_slug
               }
           }
           async with aiohttp.ClientSession(cookies=self.__cookies) as session:
               async with session.post(
                       GRAPHQL, json=payload, headers=HEADERS) as resp:
                   return await resp.json()
   

4. 从 https://leetcode-cn.com/api/submissions/?offset={offset}&limit=20 获取提交的代码信息

       def __getSubmissions(self):
           result = []
           offset = 0
           while True:
               resp = requests.get(
                   SUBMISSIONS_FORMAT.format(offset),
                   headers=HEADERS,
                   cookies=self.__cookies)
               content = resp.json()
               result.extend(content['submissions_dump'])
               # 判断是否还有下一页
               if not content['has_next']:
                   return result
               offset += 20
   

5. 将获取到的数据进行解析，详见 node.py

6. 用 sqlite3 将解析后的数据存储至数据库，详见 problems.py

7. 从数据库中取出数据生成所需文件，详见 extractor.py

使用

使用 git clone 或直接下载本仓库代码至本地

本项目需要用到第三方库 requests 和 aiohttp，可通过 pip 命令安装。

运行 python run.py

运行

效果

具体效果以及爬取的具体数据可参看我的 repo: LeetCode

你可以根据你自己的需求爱好修改 templates.py 其中的模板

可以修改其根目录下的 config.json 文件:

{
    "username": "leetcode-cn@leetcode",
    "password": "leetcode",
    "outputDir": "../LeetCode"
}

• username 和 password 对应你的 LeetCode-cn 账号和密码
• outputDir 对应你希望存放源码文件的目录

最后

原文发布至 Python 中文社区 | 开源项目 | 用 Python 美化 LeetCode 仓库)