引言
我经常会看到有人在知乎上提问如何入门 Python 爬虫?、Python 爬虫进阶?、利用爬虫技术能做到哪些很酷很有趣很有用的事情?等这一些问题,我写这一系列的文章的目的就是把我是如何学习爬虫,爬虫的技巧告诉大家.
什么是爬虫?
引用自维基百科
网络蜘蛛(Web spider)也叫网络爬虫(Web crawler),蚂蚁(ant),自动检索工具(automatic indexer),或者(在FOAF软件概念中)网络疾走(WEB scutter),是一种“自动化浏览网络”的程序,或者说是一种网络机器人。它们被广泛用于互联网搜索引擎或其他类似网站,以获取或更新这些网站的内容和检索方式。它们可以自动采集所有其能够访问到的页面内容,以供搜索引擎做进一步处理(分检整理下载的页面),而使得用户能更快的检索到他们需要的信息。
我的理解就是可以自动的抓取数据
爬虫能做什么?
- 可以创建搜索引擎(Google,百度)
- 可以用来抢火车票
- 带逛
- 简单来讲只要浏览器能打开的,都可以用爬虫实现
可以参考以下链接,还有很多好玩的~
爬虫的本质是什么?
简单来讲就是模仿浏览器来打开网页
那我们应该如何模仿浏览器呢?
我们首先应该要知道"浏览器是怎么打开网页?"
一旦我们知道浏览器是怎么打开网页的,那么我们可以通过同样的手段来模拟浏览器
大家有兴趣的话可以看看如下文章
网友评论