美文网首页Python基础小项目
Python开发工程师 入门主流框架Scrapy与爬虫项目实战

Python开发工程师 入门主流框架Scrapy与爬虫项目实战

作者: 为了谁为了你 | 来源:发表于2019-06-24 13:44 被阅读8次

    步骤1: 入门Linux基础

    本步骤主要讲解Linux系统的基本操作命令,文件和目录、用户和权限、Nano编辑器等,带领大家系统的学习Linux操作系统。

    第1课

    Linux 简介和安装

    本课程主要介绍Linux操作系统的发展历程和特点、Ubuntu操作系统的安装等,使大家初步掌握Linux操作系统的相关知识。

    第2课

    Linux 中基本命令的使用

    本课程主要介绍Linux操作系统中终端的基本使用、文件的常用操作以及用户管理和权限管理等知识点,带领大家层层深入的展开对于Linux的学习。

    第3课

    Linux中的文本编辑和软件安装

    本课程主要讲解Nano文本编辑器的配置和应用、Ubuntu中的软件仓库和阅读使用命令手册的相关知识点,帮助大家掌握Linux操作系统的知识要点。

    第4课

    Linux基础入门测试卷

    本课为考评,满分100学分,共20道题,限时30分钟

    步骤2: Python网络编程

    本步骤主要讲解网络通信中主要协议的实现过程和应用,内容包括python网络编程基础和网络编程进阶两个部分,旨在帮助大家构建网络通信和网络编程的知识结构和学习路线。

    第1课

    python网络编程基础

    本课程主要介绍了OSI参考模型和TCP/IP参考模型、常见网络设备、网络模拟软件Packet Tracer等知识点,旨在使大家初步掌握网络编程的基础知识。

    第2课

    python网络编程进阶

    本课程主要介绍数据链路层、网络层、传输层、应用层中常见协议的数据通信过程和应用,使大家经进一步掌握网络通信详细过程,加深python网络编程的理解。

    第3课

    python网络编程测试卷

    本课为考评,满分100学分,共20道题,限时30分钟

    步骤3: 初探网络爬虫

    本步骤主要讲解企业级网络爬虫环境的集成、爬虫基础知识、爬虫进阶、案例实战,内容包括centos中环境的配置、Xpath和lxml的应用、数据持久化等,引领大家迅速掌握爬虫的相关技巧。

    第1课

    网络爬虫的环境集成

    本课程主要介绍linux操作系统的安装和常用配置、网络爬虫环境中的工具集成等知识点,使大家充分掌握生产环境中爬虫工具集成的技巧。

    第2课

    爬虫基础

    本课程主要介绍爬虫的基本概念、爬虫中最常用的库—request的安装、爬虫请求和响应的处理、代理和站点证书的设置等,引领大家全面的学习网络爬虫。

    第3课

    爬虫进阶与实战

    本课程主要介绍正则表达式在爬虫中的应用、xpath的应用技巧、lxml解析库的解读与应用、案例实战等,使大家全面系统的了解爬虫项目的编写过程。

    步骤4: 高级爬虫与实战

    本步骤主要讲解如何利用selenium实现自动化爬虫、异步爬虫框架scrapy的基本使用以及综合性项目实战等内容,帮助大家构建知识体系,提升学习效果。

    第1课

    自动化爬虫

    本课程中主要讲解自动化爬虫利器—selenium模块的应用以及网页元素定位和交互的知识、linux中对selenium模块的运用等。

    第2课

    异步网络爬虫之Scrapy

    本课程主要讲解异步爬虫框架scrapy的基本使用,包括组件、数据流、项目创建和管理、自定义中间件等,使大家充分掌握scrapy框架在项目 中的应用。

    第3课

    实战:抓取二手车网站汽车数据

    本课程主要讲解利用scrapy框架对目标站点进行数据抓取的综合实战,包括城市和品牌数据的抓取和存储、汽车数据的全站点抓取、数据持久化以及项目部署等,旨在进一步提升大家独立编程的综合能力。

    第4课

    网络爬虫测试卷

    本课为考评,满分100学分,共20道题,限时30分钟

    Python开发工程师 入门主流框架Scrapy与爬虫项目实战

    提取码:31yu

    相关文章

      网友评论

        本文标题:Python开发工程师 入门主流框架Scrapy与爬虫项目实战

        本文链接:https://www.haomeiwen.com/subject/bownqctx.html