美文网首页爬虫
xpath的高级用法:获取标签下的所有文本,包括子标签下的文本;

xpath的高级用法:获取标签下的所有文本,包括子标签下的文本;

作者: sexy_cyber | 来源:发表于2018-04-26 16:04 被阅读107次

    from lxml import etree
    tree = etree.HTML(content)
    object = tree.xpath('xpath规则') .........得到匹配对象
    核心用法:
    content = object.xpath('string(.)') ............返回字符串
    content = content.replace('\n','').replace(' ','') ..过滤掉换行和空格

    应用场景:很多时候网页会给一段文字加上<em>,<b>,<span>标签;来实现对一段文本内不同文字样式的操作,但是这对爬虫就不大友好了,需要,需要更为复杂的匹配规则和信息过滤;

    相关文章

      网友评论

        本文标题:xpath的高级用法:获取标签下的所有文本,包括子标签下的文本;

        本文链接:https://www.haomeiwen.com/subject/dfhmlftx.html