一周没有更新了，在阅读crossin.me中jxgx072037写的代码时发现不懂的地方太多，一点点啃下来花费了不少时间，不过收获不少，但还没有对class def dic有进一步的了解，后期再慢慢吸收吧。在他代码的基础上进行了简单修改，也可以正常运行，先把代码贴上，比较好的技巧都在注释中提到了：

# -*- coding: cp936 -*-

import urllib2

import re

import time

f=urllib2.urlopen('http://movie.douban.com/tag/?view=type').read()#抓取tag

n1=f.find('/h2')#定位抓取位置头

n2=f.find('2015')#定位抓取位置尾

f1=f[(n1-4):(n2+10)]#定位抓取范围

f2=re.findall('/\S{1,}"',f1)#初步抓取tag

f3=''.join(f2)#转为str，方便后面replace

f4=f3.replace('"','')#去除杂质

movie_tags=f4.split('/')#转为list，方便后面[]

del movie_tags[0]#

#print len(movie_tags)

#print movie_tags

class Movie_list:#建立Movie_list类，方便后面引用

def __init__(self):#

self.url1='http://movie.douban.com/tag/'#

def request_open(self,n1,n2):#为提取文本定义函数request_open,n1为tag，n2为页数

self.url2='?start='+str(n2*20)+'&type=T'#n2*20是通过观察页面得出规律，url后半段，方便拼接url

self.page1=urllib2.urlopen(self.url1+movie_tags[n1]+self.url2).read()#将url1、tag、url2三部分拼接起来，提取每个页面的电影信息

return self.page1#将self.page1值返回给request_open

class Next_page:#

def __init__(self):#

self.url1='http://movie.douban.com/tag/'#

def np(self,n1):#为提取页面数定义函数np，n1为tag

self.page1=urllib2.urlopen(self.url1+movie_tags[n1]).read()#将url1、tag两部分拼接起来，提取每个tag的信息

self.url2=re.findall('type=T.*\d{1,2}',self.page1)#从tag中提取该tag的标签页

#print self.url2[-1]

#print self.url2[-1][9:]

if self.url2:#if为self.url2筛选值，如果为真值，则进下以下步骤

self.num2=self.url2[-1][9:]#取出杂质，self.url2为list，[-1]取最后一个值，[9：]提取单独的页码值，非常简洁的提取方式

#print self.num2

if int(self.num2)<10 or int(self.num2)==10:#通过最后一个页面数进行判断是否大于10页

return int(self.num2)#如果不大于10页，就全部提取

else:#大于10页

return 10#就赋值10.只提取10页

#print self.num2

else:#如果self.url2为False

return 1#则赋予值1

#print self.num2

movie_list=Movie_list()#实例MOvie_list()

movie=[]#建立空list，方便后面append

class Movie_info:

def __init__(self):

pass

def m(self,n1,n2):#定义m函数提取movie信息，n1为tag值 n2为页码值

self.movie_name2=[]#电影名空list

self.movie_name1=re.findall('title="\S{1,}?"',movie_list.request_open(n1,n2))#初步提取所有页面的电影名，

for x in range(len(self.movie_name1)-1):#循环读取

self.movie_name2.append(self.movie_name1[x][7:-1])#去除杂质，添加到list

#print self.movie_name1[x][7:-1]

self.movie_comment2=[]#电影评论人数空list

self.movie_comment1=re.findall('\(\d{1,}.*?\)|\(\xe5\xb0\x9a\xe6\x9c\xaa\xe4\xb8\x8a\xe6\x98\xa0\)|\(\xe7\x9b\xae\xe5\x89\x8d\xe6\x97\xa0\xe4\xba\xba\xe8\xaf\x84\xe4\xbb\xb7\)|\(\xe5\xb0\x91\xe4\xba\x8e10\xe4\xba\xba\xe8\xaf\x84\xe4\xbb\xb7\)|\(\xe8\xaf\x84\xe4\xbb\xb7\xe4\xba\xba\xe6\x95\xb0\xe4\xb8\x8d\xe8\xb6\xb3\)',movie_list.request_open(n1,n2))

for s in self.movie_comment1:#循环读取

#print s

if re.findall('\d{1,}',s):#初步提取页码值

#print re.findall('\d{1,}',s)[0]

self.movie_comment2.append(re.findall('\d{1,}',s)[0])#去除杂质

else:

self.movie_comment2.append('0')

#print self.movie_comment2

#提取评分信息

self.movie_rating2=[]

self.movie_rating1=re.findall('class=\"star clearfix[\s\S]*?pl',movie_list.request_open(n1,n2))

for s in self.movie_rating1:

self.p2=re.findall('\d\.\d',s)

if self.p2:

self.movie_rating2.append(self.p2[0])

else:

self.movie_rating2.append('没有评分')

#提取电影URL

self.movie_url2=[]

self.n=0

self.movie_url1=re.findall('http://movie.douban.com/subject/\d{1,10}',movie_list.request_open(n1,n2))

for i in range(len(self.movie_url1)/2):

self.movie_url2.append(self.movie_url1[2*self.n])

self.n+=1

#将提取到的信息添加到dic中

for i in range(len(self.movie_name2)):

self.dic=[]

self.dic.append(self.movie_name2[i])

self.dic.append(self.movie_comment2[i])

self.dic.append(self.movie_rating2[i])

self.dic.append(self.movie_url2[i])

#self.dic[1]代表comment，评论人数大于50000的记录，不到的不记录

if int(self.dic[1])>50000:

movie.append(self.dic)

#电影名进行排重

if len(movie)>2:

for i in range(len(movie)-1):

#如果最新添加的电影名同原来记录中的任意一项相同

if movie[-1][0]==movie[i][0]:

#print moive[-1]

#删除最新添加的，即去重

del movie[-1]

#去重后 中止循环

#break

print '%d/3000'%(len(movie))

else:

continue

next_page=Next_page()

movie_info=Movie_info()

for x in range(len(movie_tags)-130):#循环标签，为减少工作量，仅抓取7个标签，len(movie_tags)=137

print'正在抓取标签"%s"中的电影,%d/%s'%(movie_tags[x],x+1,len(movie_tags)-130)#查看抓取记录

starttime2=time.time()#起始时间

for i in range(next_page.np(x)):#循环页面

print'开始抓取第%d页，抓取进度：'%(i+1)

starttime=time.time()

movie_info.m(x,i)#将标签值、页面值赋予m函数

endtime2=time.time()

print'抓取第%d页完毕，用时%.2fs'%(i+1,endtime2-starttime2)

#time.sleep(5)

endtime2=time.time()

print '抓取"%s"标签完毕，%d/%s,用时%.2fs\n'%(movie_tags[x],x+1,len(movie_tags)-130,endtime2-starttime2)

'''if len(movie)>100:

print len(movie)

for i in range(len(movie)-100):

print i

print len(movie)-100

print movie[-i]

del movie[-i]

'''

def comment(s):

return int(s[1])

starttime4=time.time()

print'开始排序……'

movie.sort(key=comment,reverse=True)

endtime4=time.time()

print'排序完毕，共耗时%.2f'%(endtime4-starttime4)

f=file('Douban_movies.html','w')#创建并打开html

#html头

f.write('\n\n\n')

f.write('\n')

f.write('\n\n\n')

f.write('

豆瓣电影榜单

'+' '+'

按评价人数排名

')

s=1

for i in movie:

f.write('

'+str(s)+'. '+''+i[0]+''+'，共'+i[1]+'人评价，'+'得分：'+i[2]+'分；'+'\n')

s+=1

f.write('')

f.close

print'完成！请查看html文件，获取豆瓣电影榜单。'

豆瓣爬虫学习，先告一段落，自己接下来会随意在网上找个小网站实践抓取下，这样对理解爬虫会有更有帮助