美文网首页胶水Python网络技术Python
python爬虫:爬取慕课网视频

python爬虫:爬取慕课网视频

作者: qiye | 来源:发表于2016-03-29 12:21 被阅读4151次

          前段时间安装了一个慕课网app,发现不用注册就可以在线看其中的视频,就有了爬取其中的视频的想法,用来在电脑上学习。(我的新书《Python爬虫开发与项目实战》发布了,大家在这里可以看到样章

           我使用的是pycharm进行开发,使用BeautifulSoup模块解析html,整个代码进行了比较详细的注释。

    整个工程结构:

    工程结构图

    ----entity

    --------__init__.py

    --------fileinfor.py用来描述视频文件信息

    ----filedeal

    --------__init__.py

    --------file_downloader.py用于视频文件的下载

    ----spider 爬虫的核心内容

    --------__init__.py

    --------html_downloader.py html下载器

    --------html_parser.py  html解析器

    --------spiderman.py  爬虫核心逻辑

    ----test test文件夹主要是用来测试一些用例,不参与整个程序运行

    ----conf.py 一些全局变量

    ----index.py 程序启动入口

    运行环境:

    python 2.7.X

    需要安装的支持模块:

    BeautifulSoup (pip install或者下载源代码包setup.py),下载链接:https://pypi.python.org/pypi/beautifulsoup4/4.3.2

    运行:在windows上直接双击start.bat,linux上没试

    现在将程序运行起来,双击start.bat:

    运行

    输入课程号,选择视频品质:

    等到显示100%时,会将视频下载到当前目录下

    源代码在我的github上: https://github.com/qiyeboy/spider_smooc

    欢迎大家指教学习,记得关注我微信哟


    相关文章

      网友评论

      • 无名小卒陶然:直接用IDM可以吗?
      • Q10Viking:请问DOWNLOAD_URL下载链接,是怎么找的,我在慕课上找了很久都没找到
      • 夕阳1081:用Python 3+requests +pyquery 很方便
      • Q10Viking:urllib.urlretrieve(fileurl,filepath,self.Schedule)我的windows系统显示没有权限

      本文标题:python爬虫:爬取慕课网视频

      本文链接:https://www.haomeiwen.com/subject/hclslttx.html