Python豆瓣爬虫学习笔记（五）

学习阶段五(update:2013-3-28 0:38):实现功能：为减少工作量，仅抓取所有tag页下前3页电影信息，不足3页，则全部抓取。代码如下：

# -*- coding: cp936 -*-

import urllib2

import re

import time

starttime=time.time()

raw_text=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()

text0=re.findall('"./.*?"',raw_text)#初步抓取tag，findall输出为list

text1=''.join(text0)#list转str，方便replace

text2=text1.replace('"./','').replace('"','\n')#tag提取完成

a=file('douban_movie9.txt','w')

a.write(text2)#分阶段保存，方便分阶段排除问题

text3=[]

a=file('douban_movie9.txt','r')

for text4 in text2.split('\n'):

tagurl=urllib2.urlopen('http://movie.douban.com/tag/%s'%text4).read()

raw_tagurl_page=re.findall('page="\d{1,}"',tagurl)

tagurl_=''.join(raw_tagurl_page)

tagurl_page=tagurl_.replace('page=','').replace('"','') #仅一页的tag无提前信息，会是空值

if tagurl_page!='':#用if为非空值tag指定总页数

tagurl_page=int(tagurl_page)#str转为int，为下步判断值做准备

if tagurl_page>3:#多于3页的，只抓取3页

tagurl_page=3

if tagurl_page<4:#少于等于3页的，全部抓取

tagurl_page=tagurl_page

else:#空值tag定义为一页

tagurl_page=1

for i in range(tagurl_page):

tag_url='http://movie.douban.com/tag/%s'%text4+'?start=%d&type=T'%(i*20)+'\n'

#print tag_url

text3.append(tag_url)

#del text3[-1]

textt=''.join(text3)

b=file('douban_movie10.txt','w')

b.write(textt)

b=file('douban_movie10.txt','r')

a.close()

f=file('douban_movie10.txt','r').read().strip()#strip很关键，之前没有弄，总提示ValueError: unknown url type: 。

n=0

text8=[]#新建空list，方便后面append

for text12 in f.split('\n'):#for in对象需为list，用split将str转为list

n=n+1

print n#查看进度 也方便排除问题

#if text12==' ':#之前为解决ValueError: unknown url type: 特意加的，没有效果。问题应该用strip解决

#continue

raw_tagurl_text=urllib2.urlopen(text12).read()#循环打开URL读取

tagurl_text=re.findall('''http://movie.douban.com/subject/\d{1,}/"  class="">

.*?

/ .*?|.*?

.*?''',raw_tagurl_text)#初步提取电影信息

text6=''.join(tagurl_text)

text7=text6.replace('''

''','\t').replace('''"  class="">

''','\t').replace('','\n').replace('''

/ ''','\t/').replace('\n','\t')#剔除不需要的信息

print text7

text8.append(text7)#将for结果赋值到空list

text9=''.join(text8)#转str  write要求

e=file('douban_movie11.txt','w')

e.write(text9)

endtime=time.time()

print '用时%ss'%(starttime-endtime)

b.close()

e.close()

运行结果：

学习总结：1、共有tag130+，取前三页，每页最多20条信息。总共下来约有130*3*20，不到8000.用时-302.459000111s 算是取得阶段性的成果2、爬虫很糙，只有最简单的逻辑。抓下来的数据不方便存储，不方便进行下一步分析及html编辑。只用到for函数和%。3、初步了解python爬虫逻辑，初级问题多可以自行解决。接下来需要加强class def 多线程 代理等方面的学习，爬虫智能化