Python终究大招之爬虫:初窥门径(1)

作者: 圣人便无名 | 来源:发表于2019-02-26 00:03 被阅读0次

Python终极,当前看来无法是三个方向:
1.web后端配套django等
2.网络爬虫方向的数据分析
3.机器学习神经网络方向

下面对三大法之一的网络爬虫略作叙述

网络爬虫大抵可分为下面四类:
1.通用型网络爬虫 尽可能大范围爬虫
2.聚焦型网络爬虫 有目的性的针对型爬虫
3.增量型网络爬虫 针对增量信息,内存消耗小,难度大,去重之类的
4.深层型网络爬虫 深层爬虫,反反爬

爬虫的用途:
1.科学研究
。。。。额,这个有点伟光正
2.web安全
你爬我,我爬你,美滋滋

  1. 产品研发
    了解产业方向等信息
    4.舆论监控
    开门,查水表

爬虫的基础知识
1.Python基础语言
2.W3C标准
html,css,javascript,xpath,json等

  1. http标准
    http请求方式,过程,cookie状态等
    4.数据库
    SQLSite,mysql,redis,mongoDB等

数据库用于爬取得数据存储,

不求多熟悉,要了解相关的概念。

python网络爬虫技术
1.爬取
urlib,urlib3,request,selenium,scrapy等
模拟向浏览器发生http请求
2.解析
数据解析库,lxml,beautifulsoup4,re,pyquery,xpath等

相关文章

  • Python终究大招之爬虫:初窥门径(1)

    Python终极,当前看来无法是三个方向:1.web后端配套django等2.网络爬虫方向的数据分析3.机器学习神...

  • 初窥门径

    阅读第二章节的感悟很矛盾,时而感觉自己get到作者的点,时而又很模糊。譬如一开始的部分 这也是我阅读中经常会掉进...

  • 初窥门径-MonkeyRunner

    前面的内容请参见Android应用自动化测试-提纲。这篇开始我们来看从Android早期版本的SDK中就自带的一个...

  • socat 初窥门径

    如果您的工具箱需要高级一款高级系统管理工具,那 socat[http://www.dest-unreach.org...

  • AQS --- 初窥门径

    AQS这个词你可能耳熟能详了,但是面试问道,可能又说不出个所以然来。别急少年,我一次奇遇偶得一本失传已久的武林秘籍...

  • Python爬虫----初窥Scrapy

    为什么要学习scrapy,简单来说就是让爬虫更快更强. 安装命令 在开始爬取之前,必须创建一个新的Scrapy项目...

  • Python爬虫学习(十七)Scrapy命令行工具

    号外, 文末有爬虫小实例 我们可以使用命令行工具对Scrapy项目进行控制,比如Python爬虫学习(十六)初窥S...

  • 关于投资,你不可不知的50个真相

    来源| The Mortley Fool 作者| Morgan Housel 【导读】不论你是初窥投资门径的菜鸟,...

  • 爬虫初窥

    静态爬虫和动态爬虫 静态爬虫:页面数据的展示不依靠js等和后台的交互。动态爬虫:页面的数据需要通过js,ajax等...

  • vue.config.js(1)初窥门径

    官方地址[https://cli.vuejs.org/zh/config/] 有些针对 @vue/cli 的全局配...

网友评论

    本文标题:Python终究大招之爬虫:初窥门径(1)

    本文链接:https://www.haomeiwen.com/subject/llqoyqtx.html