Python 爬虫正则抽取网页数据和Scrapy简单使用

作者: Daemon1993 | 来源:发表于2016-01-21 15:30 被阅读6837次

Python 爬虫正则抽取网页数据和Scrapy简单使用
用Python写网络爬虫PDF版
Python爬虫 --- 2.3 Scrapy 框架的简单使用
【实战演练】Python爬虫，使用2.3 Scrapy 框架爬
【实战演练】Python爬虫，使用2.3 Scrapy 框架爬
《利用 Python36，基于 Scrapy 框架的爬虫思路
【day 3】爬虫工程化及Scrapy框架初窥
windows环境下安装Python Scrapy
无标题文章
xpath库详解

多图预警希望进来的时候你是wifi 好像这句话要放在标题上哈....

Python新手前些天看了一些基本语法发现继续看下去效果甚微(枯(ji)燥(mo)了)
知乎上面的大神都说爬虫那我就从爬虫开始实践学习吧
先从简单的静态的一个页面开始

干什么都得按照套路来一哥们经常这样说干啥事都有套路跟着我左手右手一个慢动作

如果不使用框架Scrapy
我们拿到这个网页的源文件之后
就得自己用正则表达式来抽取想要的数据

这里拿糗百做实验为什么是糗百因为我看的资料是糗百(无辜的糗百,宝宝不哭)

Paste_Image.png

先要分析页面看怎么抽取出来我们想要的数据

Paste_Image.png

发现段子都在这个<div class="content">text</div>标签里面
所以代码这么实现

 #coding=utf-8
__author__ = 'Daemon'

import urllib2,re,time

class CB_Spider:
    def __init__(self):
        self.page=1
        self.enable=True

#正则获取段子内容
def getPageContent(self):
    myUrl='http://www.qiushibaike.com/hot/page/'+str(self.page)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }
    req = urllib2.Request(myUrl, headers = headers)  #模拟浏览器
    myResponse=urllib2.urlopen(req)
    myPgae=myResponse.read()
    unicodePage=myPgae.decode('utf-8')
    #根据正则表达式拿到所有的内容
    myItems=re.findall('<div.*?class="content">(.*?)</div>',unicodePage,re.S)
    items=[]

    print u'第%s页数据展示 ' %self.page

    for item in myItems:
        content=item.strip()
        #拿到最后的<!--12345678910-->时间戳
        timeContent=re.findall(r'<!--(.*?)-->',content)
        #去掉时间戳
        pattern=re.compile(r'<!--(.*?)-->')
        content=re.sub(pattern,'',content)
        if len(timeContent)>0:
            timeContent=time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(int(timeContent[0])))
        else:
            timeContent=''
        #每个段子前加上发布时间
        print timeContent +'\n'+content

    self.page+=1;

print u'''

-----------------------------
操作:输入daemon退出
功能:按下回车依次浏览今日的糗百热点
-----------------------------

'''

cbSpider=CB_Spider()
while cbSpider.enable:
    myInput=raw_input()
    if 'daemon'==myInput:
        cbSpider.enable=False
    break
    else:
        cbSpider.getPageContent()

xbspider.gif

到这里就是全部的代码用正则自己抽取相关网页的内容

但是一般人不这么玩在实际项目中还得用框架我开发Android的我也不会啥都自己写来看看Scrapy的简单使用怎么获取和上面一样的结果

先要安装相关的环境我是按照这个地址给出安装步骤进行当然不会每个人都一切顺利

QQ图片20160121143913.gif

遇到问题去Google 基本都能解决这里不是重点
Scrapy安装

安装好了之后第一步

创建一个scrapy工程看图上的CMD 命令行

Paste_Image.png

我这里用的的Pycharm来打开这个工程这里只是为了结构看起来方便和写代码方便因为这里最后还是得靠cmd 来执行还没将Pycharm和Scrapy配置起来后面学习的时候跟着主流走
工程结构如下

Paste_Image.png

这里就是创建工程现在来到我们的项目ScrapyDemo1 写好的

Paste_Image.png

看看这几个文件能干嘛
items.py 写上自己的爬虫需要的数据的类和相关属性相当于在解析数据时的接收器

Paste_Image.png

setting.py 看名字就知道是配置文件样子长这样这里是默认的哈

Paste_Image.png

其余的几个暂时没用到先不说

xb_spider.py 就是我们的实现文件

#coding=utf-8
from scrapy import Spider

from ScrapyDemo1.items import XBItem

from scrapy.selector import Selector
__author__ = 'Daemon'

class XBSpider(Spider):
    name='xb'  #必须
    #allowed_domains = ["qiushibaike.com"]
    #必须
    start_urls=[
        'http://www.qiushibaike.com/8hr/page/1'
    ]

#必须
def parse(self, response):
    sel=Selector(response)
    sites=sel.xpath('//div[@class="content"]')
    #
    # filename = 'xbdata'
    # open(filename, 'w+').write(len(sites))

    items=[]
    for site in sites:
        item=XBItem()
        item['content']=site.xpath('text()').extract()
        print items.append(item)
    return items

用到了Selector Xpath
Selector文档
 Xpath文档

W3c的截图