美文网首页
Spider基础之XPath

Spider基础之XPath

作者: 嗒嘀嗒嗒嘀嗒嘀嘀 | 来源:发表于2020-03-04 00:02 被阅读0次

    学习自刘大拿的Python课程

    XPath

    XPath 开发工具

    • 开源的XPath表达式编辑工具:XMLQuire
    • Chrome插件:XPath Helper
    • Firefox插件: XPath Checker

    一个XML文件案例

    <?xml version="1.0" encoding="utf-8" ?>
    <School>
       <Teacher desc="PythonTeacher" score="good">
           <Name>LiuDana</Name>
           <Age_1 Detail="Age for year 2010">18</Age_1>
           <Mobile>13260446055</Mobile>
       </Teacher>
        <Student>
            <Name Other="他是班长">ZhangSan</Name>
            <Age Detail="The yongest boy in class">14</Age>
        </Student>
        <Student>
            <Name>LiSi</Name>
            <Age>19</Age>
            <Mobile>15578875040</Mobile>
        </Student>
       <!-- 这是一个例子 -->
    
    </School>
    

    选取节点

    • nodename: 选取此节点的所有子节点
    • /: 从根节点开始选取,标签名必须与根节点一致
    • //: 选取节点,不考虑位置(选取的几个节点一般组成列表返回)
    • . :选取当前节点
    • .. :选取当前节点的父节点
    • @:选取属性
    • xpath中查找一般按照路径方法查找,以下为路径表示方法实例
    School/Teacher:返回Teacher节点
    School/Student: 返回两个Student节点
    //Student:  选取所有Studetn的节点,不考虑位置
    School//Age:选取School后代中所有Age节点
    //@Other: 选取Other属性
    //Age[@Detail]:  选取带有属性Detail的Age元素
    

    谓语-Predicates

    /School/Student[1]: 选取School下面的第一个Student节点
    /School/Student[last()]: 选取School下面的最后一个Student节点
    /School/Student[last()-1]: 选取School下面的倒数第二个Student节点
    /School/Student[position()<3]: 选取School下面的前二个Student节点
    //Student[@score]: 选取带有属性score的Student节点
    //Student[@score=”99″]: 选取带有属性score并且属性值是99的Student节点
    //Student[@score]/Age: 选取带有属性score的Student节点的子节点Age
    

    其他

    • *:匹配任何元素节点
    • @*:匹配任何属性节点
    • node():匹配任何类型的节点
    /bookstore/*    选取 bookstore 元素的所有子元素。
    //*     选取文档中的所有元素。
    //title[@*]     选取所有带有属性的 title 元素。
    

    |: 或者
    //Student[@score] | //Teacher: 选取带有属性score的Student节点和Teahcer节点

    XPath轴

    • 位置路径表达式
      • 绝对路径
    /step/step/...
    
    • 相对路径
    step/step/...
    
    • Axis(轴)
    轴名称 结果
    ancestor 选取当前节点的所有先辈(父、祖父等)。
    ancestor-or-self 选取当前节点的所有先辈(父、祖父等)以及当前节点本身。
    attribute 选取当前节点的所有属性。
    child 选取当前节点的所有子元素。
    descendant 选取当前节点的所有后代元素(子、孙等)。
    descendant-or-self 选取当前节点的所有后代元素(子、孙等)以及当前节点本身。
    following 选取文档中当前节点的结束标签之后的所有节点。
    namespace 选取当前节点的所有命名空间节点。
    parent 选取当前节点的父节点。
    preceding 选取文档中当前节点的开始标签之前的所有节点。
    preceding-sibling 选取当前节点之前的所有同级节点。
    self 选取当前节点。
    • 步的语法
      轴名称::节点测试[谓语]
    e.g. 结果
    child::book 选取所有属于当前节点的子元素的 book 节点。
    attribute::lang 选取当前节点的 lang 属性。
    child::* 选取当前节点的所有子元素。
    attribute::* 选取当前节点的所有属性。
    child::text() 选取当前节点的所有文本子节点。
    child::node() 选取当前节点的所有子节点。
    descendant::book 选取当前节点的所有 book 后代。
    ancestor::book 选择当前节点的所有 book 先辈。
    ancestor-or-self::book 选取当前节点的所有 book 先辈以及当前节点(如果此节点是 book 节点)
    child::*/child::price 选取当前节点的所有 price 孙节点。

    运算符

    运算符 描述 实例 返回值
    + 加法 6 + 4 10
    - 减法 6 - 4 2
    * 乘法 6 * 4 24
    div 除法 8 div 4 2
    = 等于 price=9.80 如果 price 是 9.80,则返回 true;如果 price 是 9.90,则返回 false。
    != 不等于 price!=9.80 如果 price 是 9.90,则返回 true;如果 price 是 9.80,则返回 false。
    < 小于 price<9.80 如果 price 是 9.00,则返回 true;如果 price 是 9.90,则返回 false。
    <= 小于或等于 price<=9.80 如果 price 是 9.00,则返回 true;如果 price 是 9.90,则返回 false。
    > 大于 price>9.80 如果 price 是 9.90,则返回 true;如果 price 是 9.80,则返回 false。
    >= 大于或等于 price>=9.80 如果 price 是 9.90,则返回 true;如果 price 是 9.70,则返回 false。
    or price=9.80 or price=9.70 如果 price 是 9.80,则返回 true;如果 price 是 9.50,则返回 false。
    and price>9.00 and price<9.90 如果 price 是 9.80,则返回 true;如果 price 是 8.50,则返回 false。
    mod 计算除法的余数 5 mod 2 1

    相关文章

      网友评论

          本文标题:Spider基础之XPath

          本文链接:https://www.haomeiwen.com/subject/blwrlhtx.html