美文网首页手写笔记学习永远无止境
孤荷凌寒自学python第六十九天学习并实践beautifuls

孤荷凌寒自学python第六十九天学习并实践beautifuls

作者: f9e86c58f23c | 来源:发表于2019-01-15 22:37 被阅读94次

    孤荷凌寒自学python第六十九天学习并实践beautifulsoup对象用法2

    (完整学习过程屏幕记录视频地址在文末)

    今天继续学习beautifulsoup对象的属性与方法等内容。

    一、今天进一步了解到的BeautifulSoup模块中的一些用法小结:

    Html标签对象.parent

    返回直接上一级父级对象整体

    Html标签对象.parents

    parents返回从a对象的直接父级对象开始的各个逐个上升的父级直到<html></html>级为止的宗谱链,是一个生成器

    Html标签对象.next_sibling

    获取当前Html标签对象的下一个平级兄弟对象本身

    Html标签对象.previous_sibling

    获取当前Html标签对象的上一个平级兄弟对象本身

    Html标签对象.next_siblings

    next_siblings返回和当前Html标签对象平级的在此之后的所有Html标签对象的一个生成器

    Html标签对象.previous_siblings

    previous_siblings返回和当前Html标签对象平级的在此之前的所有Html标签对象的一个生成器

    7.应用可能最多的方法是搜索Html文档树中的符合指定特征的Html标签对象

    (1)搜索指定的tag标签

    1)

    BeautifulSoup对象.find_all('html标签tag')

    html标签tag如:a div p span ……

    执行此方法后返回的是一个bs4.element.ResultSet集合对象,此对象可以理解为列表(list),但此集合中的每一个子元素对象,都可以再次执行.find_all方法,就类似于是BeautifulSoup对象的片断对象一般。

    2)搜索tag标签时,还可以指定第二个参数,指明此Html标签对象的一些属性值的特征

    BeautifulSoup对象.find_all(' html标签tag',attrs={要筛选的一些属性字段及值组成的字典对象})

    第二个参数传入一个字典,即要筛选的Html标签对象的属性条件,因为BeautifulSoup对象将任何一个Html标签对象的属性都存储在内置的一个字典对象中

    三、我的测试代码:

    
    import requests
    
    from bs4 import BeautifulSoup
    
    import _mty
    
    strHtml='''
    
    <html><head><title>孤荷凌寒的测试网页qq:578652607</title>
    
    <style>
    
    .title{
    
     font-size:20px;
    
    }
    
    .story{
    
     font-size:12px;
    
    }
    
    #divfirst{
    
     font-size:30px;
    
    }
    
    </style>
    
    </head>
    
    <body>
    
    现在网页的BODY部分开始:
    
    <div id="divfirst" class="story">
    
    现在第一个p标签马上开始:
    
    <p id="firstptag" class="title"><b>这是在第一个P标签中的TEXT</b></p>
    
    <p class="story">现在分享一些网站链接:
    
    </br>
    
    <a href="http://www.baidu.com/" class="sister"
    
    id="link1">1.百度链接</a>,
    
    <a href="http://www.taobao.com/" class="sister"
    
    id="link2">2.淘宝链接</a> and
    
    <a href="3.http://www.jianshu.com/" class="sister"
    
    id="link3">3。简书链接</a>;
    
    </br>
    
    所有链接分享完了</p>
    
    现在第一个P标签已结束。
    
    </div>
    
    接下来第二个DIV开始
    
    <div id="divsecond" class="title">
    
    <p class="story">
    
    <a href="http://www.lhghroom.cn/" id="a_ghlh"><span id="spanone">4.孤荷凌寒的小站</span></a>
    
    </p>
    
    </div>
    
    现在body部分结束了
    
    </body>
    
    </html>
    
    '''
    
    def  msgbox(info,titletext='孤荷凌寒的DB模块对话框QQ578652607',style=0,isShowErrMsg=False):
    
      return _mty.msgboxGhlh(info,titletext,style,isShowErrMsg)
    
    def  myfirst(s,h):
    
      #r=requests.get(s,headers=h)
    
      #print(r.text) #r.text得到的是页面源html代码
    
     bs=BeautifulSoup(strHtml,features="lxml") #第二个参数指明了解析器,得到的是一个beautifulsoup对象
    
      #-----测试用法
    
      #strnew=bs.prettify() #对html源代码  进行了美化。
    
      #print(strnew)
    
      #-------访问html文档中第一个指定tag标识的html标签元素的方法-----------
    
      #print(bs.p) #这种方法将返回html文档中的第一个p标签本身这个对象,不是文本,但Print之后会显示为如:【<p class="title" id="firstptag"><b>这是在第一个P标签中的TEXT</b></p>】
    
      #print(bs.p) #重复执行,也只是返回html文档  中的第一个P标签
    
      #msgbox(str(bs.a)) #bs.a 返回的是一个对象,而不是文本字符串
    
     a=bs.a #得到了Html文档中的第一个a标签本身这个对象
    
      #-----获取Html标签元素对象的属性,及相关对象--------------
    
      #---以字典的方式  存放着Html标签元素对象的属性----
    
      #msgbox(a['href']) #a的Html标签元素对象的  链接地址  这个属性
    
      #msgbox(a.get('href'))
    
      #----标签的内嵌内容(innertext)存放在Html标签元素对象的string属性中
    
      #msgbox(a.string)
    
      #---获取一个Html标签元素对象下的所有子对象集-------------------------------------------
    
      #elements=bs.body.contents #返回的是列表,列表中的元素,包括了此Html标签元素对象下的直属一级子对象。
    
      #print(elements)
    
      #elements=bs.div.children #返回的是一个迭代器对象,其中的内容与上一个属性获取  的一致
    
      #print(list(elements))
    
      #----获取父对象--------------
    
      #print(a.parent) #返回直接上一级父级对象整体
    
      #g=a.parents #parents返回从a对象的直接父级对象开始的各个逐个上升的父级直到<html></html>级为止的宗谱链,是一个生成器
    
      #for i in g:
    
      # msgbox(str(i))
    
      #-----获取平级兄弟对象-----------------
    
      #m=a.next_sibling #获取当前Html标签对象的下一个平级兄弟对象本身
    
      #m=m.previous_sibling #获取当前Html标签对象的上一个平级兄弟对象本身
    
      #msgbox(str(m))
    
      #------
    
      #g=a.next_siblings #next_siblings返回和当前Html标签对象平级的在此之后的所有Html标签对象的一个生成器
    
      #msgbox(str(type(g)))
    
      #for i in g:
    
      # msgbox(str(i))
    
      #m=a.next_sibling.next.next_sibling.next_sibling.next_sibling
    
      #g=m.previous_siblings #previous_siblings返回和当前Html标签对象平级的在此之前的所有Html标签对象的一个生成器
    
      #for i in g:
    
      # msgbox(str(i))
    
      #---搜索Html文档树中的符合指定特征的Html标签对象---------------
    
      #===============================================
    
      #------搜索tag标签------------------
    
      #alla=bs.find_all('a') #返回的是一个bs4.element.ResultSet集合对象,此对象可以理解  为LIST,但集合中的每一个子元素对象,都可以再次执行.find_all方法,就类似于是BeautifulSoup对象的片断对象一般。
    
      #print(type(alla))
    
      #msgbox(str(type(alla)))
    
      #for i in alla:
    
      # msgbox(str(i))
    
      #--------搜索tag标签时,还可以指定第二个参数,指明此Html标签对象的一些属性值的特征----
    
     alla=bs.find_all('a',attrs={'id':'a_ghlh'}) #第二个参数传入一个字典,即要筛选的Html标签对象的属性条件,因为bs对象将任何一个Html标签对象的属性都存储在内置的一个字典对象中
    
      for i in alla:
    
     msgbox(str(i))
    
    strurl='http://www.dianping.com/'
    
    header={
    
      'Host':'www.dianping.com',
    
      'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
    
    }
    
    myfirst(strurl,header)
    
    

    ——————————

    今天整理的学习笔记完成,最后例行说明下我的自学思路:

    根据过去多年我自学各种编程语言的经历,认为只有真正体验式,解决实际问题式的学习才会有真正的效果,即让学习实际发生。在2004年的时候我开始在一个乡村小学自学电脑 并学习vb6编程语言,没有学习同伴,也没有高师在上,甚至电脑都是孤岛(乡村那时还没有网络),有的只是一本旧书,在痛苦的自学摸索中,我找到适应自己零基础的学习方法:首先是每读书的一小节就作相应的手写笔记,第二步就是上机测试每一个笔记内容是否实现,其中会发现书中讲的其实有出入或错误,第三步就是在上机测试之后,将笔记改为电子版,形成最终的修订好的正确无误的学习笔记 。

    通过反复尝试错误,在那个没有分享与交流的黑暗时期我摸黑学会了VB6,尔后接触了其它语言,也曾听过付费视频课程,结果发现也许自己学历果然太低,就算是零基础的入门课程,其实也难以跟上进度,讲师的教学多数出现对初学者的实际情况并不了解的情况,况且学习者的个体也存在差异呢?当然更可怕的是收费课程的价格往往是自己难以承受的。

    于是我的所有编程学习都改为了自学,继续自己的三步学习笔记法的学习之路。

    当然自学的最大问题是会走那么多的弯路,没有导师直接输入式的教学来得直接,好在网络给我们带来无限搜索的机会,大家在网络上的学习日志带给我们共享交流的机会,而QQ群等交流平台、网络社区的成立,我们可以一起自学,互相批评交流,也可以获得更有效,更自主的自学成果。

    于是我以人生已过半的年龄,决定继续我的编程自学之路,开始学习python,只希望与大家共同交流,一个人的独行是可怕的,只有一群人的共同前进才是有希望的。

    诚挚期待您的交流分享批评指点!欢迎联系我加入从零开始的自学联盟。

    这个时代互联网成为了一种基础设施的存在,于是本来在孤独学习之路上的我们变得不再孤独,因为网络就是一个新的客厅,我们时刻都可以进行沙龙活动。

    非常乐意能与大家一起交流自己自学心得和发现,更希望大家能够对我学习过程中的错误给予指点——是的,这样我就能有许多免费的高师了——这也是分享时代,社区时代带来的好福利,我相信大家会的,是吧!

    根据完全共享的精神,开源互助的理念,我的个人自学录制过程是全部按4K高清视频录制的,从手写笔记到验证手写笔记的上机操作过程全程录制,但因为4K高清文件太大均超过5G以上,所以无法上传至网络,如有需要可联系我QQ578652607对传,乐意分享。上传分享到百度网盘的只是压缩后的720P的视频。

    我的学习过程录像百度盘地址分享如下:(清晰度:1280x720)

    链接:https://pan.baidu.com/s/1kFPBDZH6pscVFbM6SkPnnQ

    提取码:b6mr

    Bilibili:

    https://www.bilibili.com/video/av40434837/

    喜马拉雅语音笔记:

    https://www.ximalaya.com/keji/19103006/152838374

    相关文章

      网友评论

        本文标题:孤荷凌寒自学python第六十九天学习并实践beautifuls

        本文链接:https://www.haomeiwen.com/subject/xgiudqtx.html