学习阶段五(update:2013-3-28 0:38):实现功能：为减少工作量，仅抓取所有tag页下前3页电影信息，不足3页，则全部抓取。代码如下：
# -*- coding: cp936 -*-
import urllib2
import re
import time
starttime=time.time()
raw_text=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()
text0=re.findall('"./.*?"',raw_text)#初步抓取tag，findall输出为list
text1=''.join(text0)#list转str，方便replace
text2=text1.replace('"./','').replace('"','\n')#tag提取完成
a=file('douban_movie9.txt','w')
a.write(text2)#分阶段保存，方便分阶段排除问题
text3=[]
a=file('douban_movie9.txt','r')
for text4 in text2.split('\n'):
tagurl=urllib2.urlopen('http://movie.douban.com/tag/%s'%text4).read()
raw_tagurl_page=re.findall('page="\d{1,}"',tagurl)
tagurl_=''.join(raw_tagurl_page)
tagurl_page=tagurl_.replace('page=','').replace('"','') #仅一页的tag无提前信息，会是空值
if tagurl_page!='':#用if为非空值tag指定总页数
tagurl_page=int(tagurl_page)#str转为int，为下步判断值做准备
if tagurl_page>3:#多于3页的，只抓取3页
tagurl_page=3
if tagurl_page<4:#少于等于3页的，全部抓取
tagurl_page=tagurl_page
else:#空值tag定义为一页
tagurl_page=1
for i in range(tagurl_page):
tag_url='http://movie.douban.com/tag/%s'%text4+'?start=%d&type=T'%(i*20)+'\n'
#print tag_url
text3.append(tag_url)
#del text3[-1]
textt=''.join(text3)
b=file('douban_movie10.txt','w')
b.write(textt)
b=file('douban_movie10.txt','r')
a.close()
f=file('douban_movie10.txt','r').read().strip()#strip很关键，之前没有弄，总提示ValueError: unknown url type: 。
n=0
text8=[]#新建空list，方便后面append
for text12 in f.split('\n'):#for in对象需为list，用split将str转为list
n=n+1
print n#查看进度 也方便排除问题
#if text12==' ':#之前为解决ValueError: unknown url type: 特意加的，没有效果。问题应该用strip解决
#continue
raw_tagurl_text=urllib2.urlopen(text12).read()#循环打开URL读取
tagurl_text=re.findall('''http://movie.douban.com/subject/\d{1,}/" class="">
.*?
/ .*?|
.*?''',raw_tagurl_text)#初步提取电影信息
text6=''.join(tagurl_text)
text7=text6.replace('''
''','\t').replace('''" class="">
''','\t').replace('','\n').replace('''
/ ''','\t/').replace('\n
print text7
text8.append(text7)#将for结果赋值到空list
text9=''.join(text8)#转str write要求
e=file('douban_movie11.txt','w')
e.write(text9)
endtime=time.time()
print '用时%ss'%(starttime-endtime)
b.close()
e.close()
运行结果：
学习总结：1、共有tag130+，取前三页，每页最多20条信息。总共下来约有130*3*20，不到8000.用时-302.459000111s 算是取得阶段性的成果2、爬虫很糙，只有最简单的逻辑。抓下来的数据不方便存储，不方便进行下一步分析及html编辑。只用到for函数和%。3、初步了解python爬虫逻辑，初级问题多可以自行解决。接下来需要加强class def 多线程 代理等方面的学习，爬虫智能化
网友评论