网友评论

• 
  是我在这儿:您好，为什么点开都找不到代码呢，显示Freenom World?
• 
  a4279ecdf0fd:代码在哪里啊？
  
• 
  db91d197dedf:“豆瓣电影爬虫准备就绪, 准备爬取数据...”一直这个样子没反应，这是因为什么？？
• 
  db91d197dedf:我的电脑现在只安装了官网下载的python3.5.2,实现这个爬虫还学要安装哪些库？我还不会安装库，求高手指点一下新手，万分感激！
• 
  db91d197dedf:感谢作者分享知识！！
• 
  69ee1ba3b964:同样看了scrapy文章注册账号来。。膜拜一下，有帮助，谢谢
• 
  异想派:谢谢楼主的代码，解释的很清晰
• 
  2b43eace8298:记下
• 
  0e31df000e87:学习了，代码可以运行，而且注释挺多，结构简单也不难读，谢谢博主
• 
  SteelZheng:不错学习了，我最近也做了一个爬取妹子图片的爬虫 http://www.jianshu.com/p/984315f63982
• 
  30895f740c14:好多pyc文件冗余
• 
  0618ab2c1301:！是看了你的scrapy文章所以才注册账号上来的。大神~
• 
  dae5d7d94002:你好，请问<span.*?class="title">.(*?)</span>和<span.*?class="title">.*?</span>，后面的缺少了一个括号，为什么就不对了呢？
• 
  Jailman:改了下，在windows上也能用
  # -*- coding:utf-8 -*-
  
  
  #!/usr/bin/env python
  
  
  #import string
  import re
  import urllib2
  
  class DouBanSpider(object) :
  """类的简要说明
  
  本类主要用于抓取豆瓣前100的电影名称
  
  Attributes:
  page: 用于表示当前所处的抓取页面
  cur_url: 用于表示当前争取抓取页面的url
  datas: 存储处理好的抓取到的电影名称
  _top_num: 用于记录当前的top号码
  """
  
  def __init__(self) :
  self.page = 1
  self.cur_url = "http://movie.douban.com/top250?start={page}&filter=&type="
  self.datas = []
  self._top_num = 1
  print u"豆瓣电影爬虫准备就绪, 准备爬取数据..."
  
  def get_page(self, cur_page) :
  """
  
  根据当前页码爬取网页HTML
  
  Args:
  cur_page: 表示当前所抓取的网站页码
  
  Returns:
  返回抓取到整个页面的HTML(unicode编码)
  
  Raises:
  URLError:url引发的异常
  """
  url = self.cur_url
  try :
  my_page = urllib2.urlopen(url.format(page = (cur_page - 1) * 25)).read().decode("utf-8")
  except urllib2.URLError, e :
  if hasattr(e, "code"):
  print "The server couldn't fulfill the request."
  print "Error code: %s" % e.code
  elif hasattr(e, "reason"):
  print "We failed to reach a server. Please check your url and read the Reason"
  print "Reason: %s" % e.reason
  return my_page
  
  def find_title(self, my_page) :
  """
  
  通过返回的整个网页HTML, 正则匹配前100的电影名称
  
  
  Args:
  my_page: 传入页面的HTML文本用于正则匹配
  """
  temp_data = []
  movie_items = re.findall(r'<span.*?class="title">(.*?)</span>', my_page, re.S)
  for index, item in enumerate(movie_items) :
  if item.find("&nbsp") == -1 :
  temp_data.append("Top" + str(self._top_num) + " " + item)
  self._top_num += 1
  self.datas.extend(

  0e31df000e87:@jailman 不用改，直接可以跑
• 
  6a938ddbee08:为什么你最后提供的个人编码规范和正则表达式的链接有问题，我电脑提示不安全，还报警，什么原因？

  6a938ddbee08:@Andrew_liu 怪不得，希望改一下链接，这样别人就不会进入不相关的网页啦

  Andrew_liu:@VectorHsi 因为之前是tk免费域名, 现在我使用了http://andrewliu.in 域名
• 3918ee92fb03:data已经是datum的复数了，没有datas这个单词。movie也拼错了

  Andrew_liu:@hahasong 谢谢指点, 英语确实有待加强
• 
  chixiaodou:问一下这里while 改成if可以吗？
  https://github.com/Andrew-liu/dou_ban_spider/blob/master/threading_douban.py#L37

  Andrew_liu:@chixiaodou 如何只想执行一次, 可以选择if
• 
  720b7fb5e266:棒！
  然后我不懂downloadshell.py和downloadshell.py之间的联系或者说我不懂为啥不是一个.py就搞定 ，希望有时间帮解答，感谢！
  
  
• 
  240342bb94ad:@Andrew_liu 刚好最近想写写爬虫，看到Andrew就进来了
• 
  Andrew_liu:@子拙 我擦, 师兄这都能发现
• 
  240342bb94ad:师弟就是6
• 
  520b59b9a6f6:代码写得不错！
• 
  XiaoluD:@Andrew_liu 不是看不懂，是代码晦涩。
• 
  Andrew_liu:@XiaoluD 写了那么多注释还读不懂我就没办法了
• 
  XiaoluD:你的代码真的好晦涩难读

  荒诞鬼:@XiaoluD 我对2 不熟悉 ，看这个更头痛，，其实用xpath和ｂｓ　几行就搞定的事情　，，