在用Scrapy爬取数据时需要用XPath确定路径，对于网页结构不熟悉的童鞋，需要认真找标签之间的嵌套关系，来确定所要提取内容的路径。一个简单的方法是，可以直接用Chrome的检查来Copy这个XPath的路径。
方法见这篇文章 《再谈Scrapy抓取结构化数据》
在文章中提到的小技巧，就是使用Chrome“检查”-- 找到要抓取的内容，右键 “Copy” -- “Copy XPath”
但是Copy出来的路径，是不能直接使用的，它默认是从最近的一个带id的标签开始。如果没有它会从 html标签开始计算路径。
以“小猪短租” 的房租信息为例：
http://sh.xiaozhu.com/search-duanzufang-p1-0/
copy 房租价格的XPath路径是：
//*[@id="page_list"]/ul/li[1]/div[2]/span[1]/i
显然循环点选取在li (每个租房信息都包含在一个 li 中) 。在循环中路径就应该写：
info.xpath('div[2]/span[1]/i/text()')
我录了一段屏，看一下：
在用Scrapy爬取数据时需要用XPath确定路径，对于网页结构不熟悉的童鞋，需要认真找标签之间的嵌套关系，来确定...
写了Scrapy XPath抓取结构化数据的方法和技巧： 《再谈Scrapy抓取结构化数据》 《[小技巧]Chro...
以下的测试是在chrome上进行的，以火影忍者为例。 操作方法：拷贝代码块中的js，输入指定网站，在chrome中...
今日小技巧 巧用cssText方法 cssText 返回值是什么？ 在某些浏览器中（比如 Chrome），你给他赋...
FireFox:xpath checker Chrome:Xpath Finder 关于iframe的定位，Fir...
xpath 在XML文档中查找信息的语言,同样适用于HTML文档的检索 xpath辅助工具 Chrome插件 插件...
xpath获取A下所有的子链接: //A/child::*/@href xpath 使用单引号，使用双引号报语法错...
选择兄弟节点选择前N位的div标签preceding-sibling::div[N]选择后N位的div标签foll...
一、xpath简介 二、xpath安装 终端安装 chrome浏览器安装 三、xpath基本使用 导包l 用etr...
在Chrome浏览器中，基于XPath，在新标签页中打开当前页面的所有URL
本文标题：[小技巧]Chrome中拷贝XPath的方法
本文链接：https://www.haomeiwen.com/subject/hbskittx.html
网友评论