网络爬虫（又被称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动的抓取信息的程序或者脚本。
网络爬虫是互联网上进行信息采集的通用手段，在互联网的各个专业方向上都是不可或缺的底层技术支撑。本课程从爬虫基础开始，全面介绍了Python网络爬虫技术，并且包含各种经典的网络爬虫项目案例。
分类：
网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网络爬虫（General Purpose Web Crawler）、聚焦网络爬虫（Focused Web Crawler）、增量式网络爬虫（Incremental Web Crawler）、深层网络爬虫（Deep Web Crawler）。 实际的网络爬虫系统通常是几种爬虫技术相结合实现的。
通用网络爬虫
聚焦网络爬虫
增量式网络爬虫
Deep Web 爬虫
爬虫有什么用呢？
你要找工作，想知道哪个岗位当前最热门，爬取分析一下招聘网站的岗位信息便知一二；
世界杯球迷分布情况，爬取分析一下淘宝各球队球衣销量，或者相关论坛或贴吧的一些数据即可；
想知道知乎大神们关注领域情况，可以爬取分析一下大神们的回答；
……
有了数据才能做数据分析，互联网为你提供了海量的数据来源，就看你有没有水平获得这些数据。Python是实现爬虫最佳的选择，几行代码就能实现基本的爬虫，学习简单且很容易获得更大成就感。
爬虫技术是入门Python最好的方式（没有之一），也是大数据分析、机器学习的基础，掌握基本的爬虫后，再去学习其他Python技能，会更得心应手。
如何掌握爬虫技术
那么Python爬虫技术该如何学习呢？我们已经为你规划好了学习路径。三大框架、六场实战，让你全面掌握Python爬虫技术，在高级部分，带你掌握反爬虫技术以及如何绕过反爬虫，以及编写分布式爬虫来提升数据爬取效率。
第1阶段：爬虫入门及框架学习
正则表达式是Python爬虫必不可少的神器，通过它可以对文本进行过滤或者按照规则进行匹配。Urllib、Requests、Scrapy是Python爬虫最常用的三个库和框架，掌握它们可以让爬虫编写工作事半功倍。
课时3：网络爬虫抓包分析技术精讲
课时5：基于Scrapy框架编写爬虫项目
第2阶段：项目实战
综合前面所学知识，爬取如下这些网站的数据，在项目实战中分析和解决爬取过程中遇到的难点问题。
课时6：招聘网站信息爬虫项目开发实战
课时7：淘宝商品信息爬虫项目开发实战
课时8：知乎信息爬虫项目开发实战
第3阶段：高级应用
一些网站中应用了反爬虫技术，导致无法爬取数据，高级应用中将介绍一些常见的反爬方式与攻克手段。
如果爬取大量的数据，单机爬虫的能力是有限的，我们还将为您讲解如何编写集群分布式爬虫提升数据获取的效率。
课时9：爬虫常见的反爬策略与反爬攻克手段
课时10：分布式爬虫编写实战
更多精品技术课程：
阿里云大学官网（阿里云大学 - 官方网站，云生态下的创新人才工场）
网友评论