美文网首页
scrapy css选择器使用

scrapy css选择器使用

作者: 奋斗live | 来源:发表于2018-06-02 14:52 被阅读0次

这里我使用的是以下环境

python的版本:3.6
scrapy的版本:1.5

coding:utf-8
import scrapy
import codecs
class TestSpider(scrapy.Spider):

    name = 'yilian_spider'

    start_urls = [
        'http://lab.scrapyd.cn/page/1/',
    ]

    def parse(self,response):
        filename = 'yilian.txt'
        text1 = response.css('div .quote')[0]
        content = text1.css('.text::text').extract_first()

        author = text1.css('.author::text').extract_first()
        tags = text1.css('.tags .tag::text').extract()
        tags = ','.join(tags)
        f = open(filename,'a+')
        f.write('标签:'+tags)
        f.write('\n')
        f.write('作者:'+author)
        f.write('\n')
        f.write('内容:'+content) #写内容
        f.write('\n')
        f.close()
        print('保存文件了')

相关文章

  • Scrapy笔记-常用指令

    常用指令 创建项目 设置一个新的Scrapy项目。 运行爬虫 数据提取测试 css选择器 使用 shell,您可以...

  • Selector选择器还在用extract_first和extr

    自从学习scrapy以来, 就爱上了使用它自带的Selector选择器,集成了css/xpath/re特技于一身,...

  • scrapy css选择器使用

    这里我使用的是以下环境 python的版本:3.6scrapy的版本:1.5

  • CSS 选择器

    CSS 选择器 CSS 基本选择器及其扩展 CSS 基本选择器 通配符选择器 * 元素选择器 使用标签的名称...

  • CSS选择器

    除了正则和XPATH以外,scrapy中还支持第三种选择器,那就是CSS选择器;下面就一一介绍常见的CSS选择器的...

  • 【零基础学爬虫】scrapy中选择器详解

    简介 对网页解析时,不可避免需要使用选择器。本文主要介绍scrapy中的各类选择器,选择器其实就是scrapy内置...

  • 前端之路——笔记(基础css)

    学会使用CSS选择器熟记CSS样式和外观属性熟练掌握CSS各种选择器熟练掌握CSS各种选择器熟练掌握CSS三种显示...

  • 前端之路——笔记(基础css)

    学会使用CSS选择器熟记CSS样式和外观属性熟练掌握CSS各种选择器熟练掌握CSS各种选择器熟练掌握CSS三种显示...

  • day003_css基础

    css 标签选择器 id选择器 类选择器(开发使用) css 链接方式 1、内嵌式(head标签内...

  • CSS选择器学习

    CSS选择器是学习CSS的一个核心部分,HTML页面中的元素就是通过CSS选择器来进行控制的,熟练使用CSS选择器...

网友评论

      本文标题:scrapy css选择器使用

      本文链接:https://www.haomeiwen.com/subject/ktsrsftx.html