美文网首页
简单的爬虫

简单的爬虫

作者: endian | 来源:发表于2018-01-19 16:55 被阅读0次
  • 这是个简单的爬虫程序,因为刚学Python所以记录一下

      import urllib.request
      import re;
      
      def getHtml(url):
          page = urllib.request.urlopen(url);
          html = page.read();
          return html;
      
      url="http://tieba.baidu.com/p/2460150866";
      html = getHtml(url);
      
      
      def getImg(html):
          reg=r'src="(.+?\.jpg)" pic_ext';
          imgre = re.compile(reg);
          html = html.decode('utf-8');
          imglist = re.findall(imgre,html);
          x=0;
          for imgurl in imglist:
              urllib.request.urlretrieve(imgurl,'%s.jpg'%x);
              x+=1;
          return imglist;
      print(getImg(html));

相关文章

  • 各语言简单爬虫

    各语言简单爬虫 Python 简单爬虫 golang简单爬虫

  • python-爬虫基础(慕课网)

    二.爬虫简介以及爬虫的技术价值 2-1:爬虫是什么? 2-2:爬虫技术的价值? 三.简单爬虫架构 3-1:简单爬虫...

  • 一个简单的网络爬虫

    什么是网络爬虫 简单的说,网络爬虫就是一种自动抓去互联网上资源的程序。 简单的网络爬虫 简单的网络爬虫原理就是使用...

  • 简单爬虫架构的实现

    在我的上一篇文章里简单介绍了一下最简单的爬虫架构:《浅谈简单爬虫架构》如下图所示简单爬虫架构 框架 mySpide...

  • Golang实现简单爬虫框架(3)——简单并发版

    在上篇文章Golang实现简单爬虫框架(2)——单任务版爬虫中我们实现了一个简单的单任务版爬虫,对于单任务版爬虫,...

  • Python网络爬虫

    Python开发简单爬虫(Python2.X版本,Eclipse工具) 一、爬虫介绍 爬虫调度端:启动、停止爬虫,...

  • Golang实现简单爬虫框架(2)——单任务版爬虫

    Golang实现简单爬虫框架(2)——单任务版爬虫 上一篇博客Golang实现简单爬虫框架(1)——项目介绍与环境...

  • 【openshift-4】实现简单爬虫功能+生成在线API

    前提:请先学习爬虫框架BeautifulSoup和flask中jsonify的简单使用 1、如何简单的使用爬虫框架...

  • python爬虫

    简单网页爬虫 上面的代码是一个简单的网页爬虫代码: urllib.request.urlopen('http://...

  • 爬虫简介

    爬虫:一段自动抓取互联网信息的程序 价值:互联网数据,为我所用! 简单爬虫架构 简单爬虫架构-运行流程 URL管理...

网友评论

      本文标题:简单的爬虫

      本文链接:https://www.haomeiwen.com/subject/zjqaoxtx.html