1.单进程爬虫存在的问题
- 我们在爬虫笔记（2）中详细的对糗事百科进行了分析，并且给出了核心代码。如果用这个代码去爬糗事百科，确实没有问题，但是就是有些慢。作为一个爬虫大部分时间都是在等待网络返回数据，所以采用多线程或者多进程都是可以的，虽然线程在python存在全局同步问题。我这里使用多线程来实现并发。
- 还有一点就是没有考虑数据存储问题，数据存储采用mongodb，文档型数据库与python还是非常契合的。
2.threading使用入门
线程的使用非常简单，定义个线程函数然后使用Thread创建线程。
from threading import Thread
def subthread(name):
print name
def main():
t = Thread(target=subthread,args=('hello',))
t.setDaemon(True) #设置为守护进程
t.start() #启动线程
t.join() #等待线程结束
if __main__=='main':
main()
3.mongodb使用入门
mongodb是文档型数据库，没有关系型数据库复杂的结构，操作也很简单。
-
启动数据库
直接在命令行中运行mongodb服务器程序mongod
服务器启动画面
- 使用数据库客户端mongo
在默认的情况如果连接本地数据库是不需要参数的，直接在命令行中敲击mongo就可以了。
mongo初始界面
- 常用系统命令
>show dbs #列出数据库
blog 0.000GB
test 0.000GB
mydb 0.000GB
>use blog #切换数据库，数据库的创建也是使用use命令
switched to db blog
>db #当前数据库
blog
>show tables #列出当前数据中的表，show collections也是一样的意思
- 数据操作方法
#插入
>db.content.insert({'name':'xiaozhang','age':15}) #insert可以创建表
WriteResult({"nInserted":1})
#查找
>db.content.find({}) #find方法中的参数代表条件，{}代表不过滤对于这种情况也可以不传入参数
{"_id":ObjectId("5852a97d80a8486e39d52ae3"),"name"::"xiaozhang","age":15}
#更新
>db.content.update({"name":"xiaozhang"},{$set:{"name":"xiaowu"}}) #第一个参数是条件，第二个参数是新值
#删除
>db.content.remove({})#参数也是条件，{}会删除所有数据
mongodb操作相对简单，上面只是简单的示例如何对数据进行操作。其中一个很关键的内容就是如何设置条件，这里没有详细介绍条件设置问题，以后如果需要对数据进行分析就需要这方面的知识。
4.多线程版爬虫
对于download和parse这两个方法是不需要变化的，这里需要修改主线程代码以及添加子线程代码。
- 线程代码
def subthread(url):
html = download(url)
data = parse(html)
handle(data)
- 数据处理代码
def handle(data):
urls = data['urls']
for url in urls:
if url not in fetch_urls:
fetch_urls.add(url)
queue.put(url)
content = data['content']
save(content)
- 数据存储
import pymongo
client = pymongo.MongoClient()
db = client.qiushibaike
def save(content):
collection = db.content
collection.insert(content)
子线程代码其实非常简单，不需要太多处理。将页面下载和分析移入到子线程中，主线程就需要负责任务的分配作业。
import Queue
from threading import Thread
init_url = 'http://www.qiushibaike.com' #初始化页面
queue = Queue.Queue() #任务队列
fetch_urls = set() #已访问页面集合
queue.put(init_url)
fetch_urls.add(init_url)
while True:
if queue.size()>0:
url = queue.get()
t = Thread(target=subthread,args=(url,)
t.setDaemon(True)
t.start()
网友评论