LeetCode简介
leetcode是一个美国的在线编程网站,它收集了各大公司的经典算法面试题,用户可以选择不同的语言进行代码的在线编写、编译和调试。简单来说,它就是程序员的刷题神器。
概述
项目地址:Leetcode_Helper
https://github.com/KivenCkl/Leetcode_Helper
Python 实现的LeetCode仓库美化程序。爬取 LeetCode-cn AC 的题目描述和提交的最新代码,并整理至相应的文件夹,生成相应的 README 文件。
项目结构:
本项目参考了:
leetcode-spider
https://github.com/zhantong/leetcode-spider
LeetCodeCrawler
https://github.com/ZhaoxiZhang/LeetCodeCrawler
特点
支持爬取题目列表(中英文),保存为指定目录下的 README 和 README_EN 文件
支持爬取题目描述(中英文),保存为对应 title 文件夹下的 README 和README_EN 文件
支持爬取用户提交的代码,保存为对应 title 文件夹下的 AC 源码(可以是任意语言)
支持修改导出数据的模板
异步下载题目描述,高速并发导出文件
支持增量更新,当 LeetCode-cn 有新内容(题目/提交的代码)时,可以选择增量形式更新
核心思路
获取 LeetCode-cn 用户 cookies
从 https://leetcode-cn.com/api/problems/all/ 获取用户解题基本信息以及问题列表
从 https://leetcode-cn.com/graphql 异步访问获取问题描述信息
从 https://leetcode-cn.com/api/submissions/?offset={offset}&limit=20 获取提交的代码信息
将获取到的数据进行解析,详见 node.py
用 sqlite3 将解析后的数据存储至数据库,详见 problems.py
从数据库中取出数据生成所需文件,详见 extractor.py
使用
使用git clone 或直接下载本仓库代码至本地
本项目需要用到第三方库requests和aiohttp,可通过pip 命令安装。
运行python run.py
效果
具体效果以及爬取的具体数据可参看 repo: LeetCode
https://github.com/KivenCkl/LeetCode
你可以根据你自己的需求爱好修改templates.py其中的模板
可以修改其根目录下的config.json文件:
username 和 password 对应你的 LeetCode-cn 账号和密码
outputDir 对应你希望存放源码文件的目录
KivenC,一名爱好Python编程的机械男。GitHub:https://github.com/KivenCkl
网友评论