Python与数据库-网络爬虫存储

作者: 小树枝来了 | 来源:发表于2018-04-18 10:45 被阅读0次

图片来自于网络

Python与数据库-网络爬虫存储

@(数据科学)[小树枝来了, 帮助, Markdown, 网络爬虫, 数据存储]

关系数据库存储-MySQL为例
爬虫配合MySQL存储
瑞士军刀-SQLite
分布式数据存储-NoSQL数据库
爬虫配合mongoDB存储

tips:

使用虚拟环境时，conda安装的组件在jupyter中无法import，需要在虚拟环境中重新conda install jupyter notebook；

存在基础环境和虚拟环境共用jupyter环境；

conda install beautifulsoup4

可以用jupyter notebook进行MATLAB开发，在matlab安装目录中查找python文件里面的setup，用console运行生成python-MATLAB适配器built文件即可；注意：MATLAB只支持python3.5和python2.7；

假设你已经（或者有能力）获取大量数据（通过爬取），那么选择何种方式去存储数据非常重要

一般而言就爬虫问题，我们可以选择：

文本文件的形式保存（比如csv）
数据库
文件系统

第一种

优势：方便，随时使用，不需要第三方的支持
劣势：健壮性差，扩展性差

第二种

优势：良好的扩展性，使用广泛
劣势：（硬要说的话）需要第三方支持，需要进行选择，对技术有一定要求

第三种

更自由，但技术要求会更高

当你选择使用数据库作为你的爬虫的后端存储方案时，核心的问题是：

哪种数据库或者组合能够最好解决你的问题？

数据库类型

关系型，键值型，文档型等等

驱动力

实际解决的问题场景
关系型：数据库查询的灵活性 > 灵活的模式
面向列的数据库：适合存储多机的海量数据

数据库的特性

除了CRUD
数据库是否有模式
数据库是否支持快速索引查找
数据库是否支持自由定义的查询
数据库是否在查询前必须先进行规划

数据库的性能

是否方便进行优化
是否容易对读写进行优化
支不支持分片，复制

数据库的伸缩性

横向扩展（MongoDB）
纵向扩展（PostgreSQL）

说说爬虫：

一般的数据，基本上都没有问题
数据变大，数据量和并发都很大的时候
- 关系型数据库容量和读写能力可能会有问题
- 爬虫的信息（一般来说比如文本），一般不需要建立关系
- 爬虫字段经常变化，相对严格模式的关系数据库，NoSQL会更有优势
- 文档型（MongoDB）更加自由
- 容易横向扩展、分片、复制
爬虫数据比较脏乱
有时无法预期数据的字段（先爬下来再说）
NoSQL可以做Map Reduce优化

关系数据库：

以集合理论为基础的系统，实现为具有行和列的二维表
利用SQL（结构化查询语言）编写查询，与数据库管理系统交互
SQLite, MySQL, PostgreSQL

创建database：

INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States'), ('mx','Mexico'), 
('au','Australia'), ('gb','United Kingdom'), 
('de','Germany'), ('ll','Loompaland');

select * from countries;
select * from cities;
show tables;

INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States');

DELETE FROM countries WHERE country_code = 'll';

CREATE TABLE cities(
    name  varchar(128) NOT NULL,
    postal_code VARCHAR(9) CHECK (postal_code <> ''),
    country_code CHAR(2) REFERENCES countries,
    PRIMARY KEY (country_code, postal_code)
);

INSERT INTO cities
VALUES ('Portland', '87200', 'us');

UPDATE cities
SET postal_code = '97205'
WHERE name = 'Portland';

SELECT cities.*, country_name
FROM cities INNER JOIN countries
ON cities.country_code = countries.country_code;

DROP TABLE IF EXISTS venues;
CREATE TABLE venues(
    venue_id  int AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(255),
    street_address varchar(16),
    typev CHAR(8),
    postal_code VARCHAR(9),
    country_code CHAR(10),
    FOREIGN KEY (country_code, postal_code) 
    REFERENCES cities (country_code, postal_code)  MATCH FULL
);

SELECT * FROM venues;

INSERT INTO venues (name, postal_code, country_code)
VALUES ('crystal ballroom', '97205', 'us');

SELECT v.venue_id, v.name, c.name
FROM venues v INNER JOIN cities c
ON v.postal_code=c.postal_code AND v.country_code = c.country_code;

创建链接：

# 模板
import pymysql
# 创建和数据库server的连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='rootROOT', db='mysql')
# connect(charset='utf8')
# cur是一种能从包括多条数据记录的结果中每次提取一条记录的机制
# 可以说认为cur就是指针
# cur一种临时的数据库对象
cur = conn.cursor()
#cur.execute(“SQL代码”)
#cur.execute("CREATE DATABASE shdata") 
#cur.execute("USE shdata")
cur.close()
conn.close()

# 先建立cur，再执行字符设置
import pymysql
conn = pymysql.connect(host = '127.0.0.1', port=3306, user = 'root', passwd = 'rootROOT', db='mysql') 
cur = conn.cursor()

**cur.execute('SET NAMES utf8') 
cur.execute('SET CHARACTER SET utf8')
cur.execute('SET character_set_connection=utf8')**

# 使用sddatabase数据库
cur.execute("USE hz")
#插入数据 （编码解决）
#请查看commit的作用
cur.execute("INSERT INTO users2 VALUES(1, 'alice'),(2, 'bob'),(3, 'jack'),(4, 'rose')")
#查询 
cur.execute("SELECT * FROM users2") 
for row in cur.fetchall():
    print('%s\t%s'  % row)

关键点，必须要提交

#表修改或插入数据后commit 
conn.commit()
#关闭 
cur.close()
#表修改或插入数据后commit 
conn.commit() 
conn.close()

MongoDB安装

tips：

官网下载，这里是msi

直接安装，然后将path放好

C:\Program Files\MongoDB\Server\3.4\bin;（因为你要用到mongod）

启动MongoDB服务之前需要必须创建数据库文件的存放文件夹，否则命令不会自动创建，且不能启动

e.g.

建立一个D:\mongodb\data\db
然后开启mongodb的服务：
mongod --dbpath D:\mongodb\data\db

开服务的时候可能会遇到
"丢失api-ms-win-crt-runtime-l1-1-0.dll的提示，可通过运行vc_redist.2015.exe的方式解决"

命令行下运行 MongoDB 服务器

为了从命令提示符下运行 MongoDB 服务器，你必须从 MongoDB 目录的 bin 目录中执行 mongod.exe 文件。

C:\Program Files\MongoDB\Server\3.4\bin\mongod --dbpath D:\mongodb\data\db

如果执行成功，会输出如下信息：

2015-09-25T15:54:09.212+0800 I CONTROL Hotfix KB2731284 or later update is not
installed, will zero-out data files
2015-09-25T15:54:09.229+0800 I JOURNAL [initandlisten] journal dir=c:\data\db\j
ournal
2015-09-25T15:54:09.237+0800 I JOURNAL [initandlisten] recover : no journal fil
es present, no recovery needed
2015-09-25T15:54:09.290+0800 I JOURNAL [durability] Durability thread started
2015-09-25T15:54:09.294+0800 I CONTROL [initandlisten] MongoDB starting : pid=2
488 port=27017 dbpath=c:\data\db 64-bit host=WIN-1VONBJOCE88
2015-09-25T15:54:09.296+0800 I CONTROL [initandlisten] targetMinOS: Windows 7/W
indows Server 2008 R2
2015-09-25T15:54:09.298+0800 I CONTROL [initandlisten] db version v3.0.6
……

连接MongoDB
我们可以在命令窗口中运行 mongo.exe 命令即可连接上 MongoDB，执行如下命令：

C:\Program Files\MongoDB\Server\3.4\bin\mongo.exe

MongoDB使用

利用工具：Robomongo(图形化操作)

建立一个连接
然后进行操作

名词比较：
SQL:MongoDB:解释
database:database:数据库
table:collection:表/集合
row:document:数据行/文档
primary key:primary key 主键/MongoDB自动将_id字段设置为主键

注意:
在mongo中创建一个collection,只需要在该collection中插入第一条记录。由于mongo没有模式，不需要预先定义模式（比如create），可以直接使用。而且，就算你建立了一个新的collection，比如mongo book，你不插入数据，这个collection其实并不存在。

# 命令行下：
> mongo newdb
> use yourdb
> db.towns.insert({
    name: "New York",
    population: 2220000,
    last_census: ISODate("2009-07-31"),
    famous_for: ["status of liberty", "food"],
    mayor: {
    name: "Jack",
    party: "I"
    }
    })
> show collections
> db.towns.find()

插入数据

采用javascript语言写，在mongo控制台：
> function insertCity(name, population, last_census,famous_for,mayor_info){
db.towns.insert({
    name: name,
    population: population,
    last_census: ISODate(last_census),
    famous_for: famous_for,
    mayor: mayor_info
    });
}
> insertCity("Punxsutawney", 6200, '2008-31-01', ["phil the groundhog"], {name: "Jim"})
> insertCity("Portland", 52800, '2007-31-01', ["beer","food"], {name: "Sam"})
> db.towns.find()
> db.towns.find(
{famous_for:'food'},
{_id:0, name:1, famous_for:1}

    )

MongoDB配合python使用

import pymongo
建立连接：
from pymongo import MongoClient
client = MongoClient()
#client = MongoClient('localhost', 27017)
#client = MongoClient('mongodb://localhost:27017')

#访问数据库
db = client.newdb
#db = client['pymongo_test']
#不管有没有，自动建立

#插入文档
posts = db.posts
post_data = {
    'title': 'Python and MongoDB',
    'content': 'PyMongo is fun',
    'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一条记录: {0}'.format(result.inserted_id))
# ServerSelectionTimeoutError: localhost:27017: [WinError 10061] 由于目标计算机积极拒绝，无法连接。

#插入文档
posts = db.posts
post_data = {
    'title': 'Python and MongoDB',
    'content': 'PyMongo is fun',
    'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一条记录: {0}'.format(result.inserted_id))

#同时插入多组
post_1 = {
    'title': 'Python and MongoDB',
    'content': 'PyMongo is fun',
    'author': 'jack'
}
post_2 = {
    'title': 'Virtual Environments',
    'content': 'Use virtual environments',
    'author': 'alice'
}
post_3 = {
    'title': 'Learning Python',
    'content': 'Learn Python, 从入门到放弃',
    'author': 'alice'
}
new_result = posts.insert_many([post_1, post_2, post_3])
print('插入多条: {0}'.format(new_result.inserted_ids))

#查找
bills_post = posts.find_one({'author': 'jack'})
print(bills_post)

#查找多条
alice_posts = posts.find({'author': 'alice'})
print(alice_posts)

#查找多条
for post in alice_posts:
    print(post)

案例分析

针对Ajax异步加载，发现json数据，可以直接入库

import requests
url = 'http://www.guokr.com/scientific/'
# 和花瓣的区别，不用找link，直接把json数据入库

import json
url = 'http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset=78&_=1492275395425'
html = requests.get(url)
data_list = json.loads(html.text)
print(data_list.keys())
for data in data_list['result']:
    #pass
    print(data)

输出：

dict_keys(['now', 'ok', 'limit', 'result', 'offset', 'total'])
{'image': '', 'is_replyable': True, 'channels': [], 'channel_keys': [], 'preface': '', 'id': 442811, 'subject': {'url': 'https://www.guokr.com/scientific/subject/biology/', 'date_created': '2014-05-23T16:22:09.282129+08:00', 'name': '生物', 'key': 'biology', 'articles_count': 2617}, 'copyright': 'owned_by_translate', 'author': {'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'introduction': '新闻记者，写作领域为科学、文化和环境', 'nickname': 'Joshua Rapp Learn', 'avatar': {'small': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'large': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'normal': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg'}}, 'image_description': '', 'is_show_summary': False, 'minisite_key': 'sciblog', 'image_info': {'url': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'width': 330, 'height': 235}, 'subject_key': 'biology', 'minisite': {'name': '科技评论', 'url': 'https://www.guokr.com/site/sciblog/', 'introduction': '科学与思考是人类前进的两只脚，协同一致，我们才能真正进步', 'key': 'sciblog', 'date_created': '2010-10-20T16:20:44+08:00', 'icon': 'https://3-im.guokr.com/wUTGS9coWHVZatYqlPTFGo1ig-2JKzSeLNm1FHweYXRuAAAAWgAAAEpQ.jpg'}, 'tags': ['生物', '考古', '狼', '狗', '同位素', '食物'], 'date_published': '2018-03-07T12:04:42+08:00', 'video_content': '', 'authors': [{'introduction': '新闻记者，写作领域为科学、文化和环境', 'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'nickname': 'Joshua Rapp Learn', 'avatar': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'ukey_author': None}], 'replies_count': 35, 'is_author_external': True, 'recommends_count': 0, 'title_hide': '狗是人类的好朋友，但朋友也曾经只是食物', 'date_modified': '2018-03-07T12:06:55.212594+08:00', 'url': 'https://www.guokr.com/article/442811/', 'title': '狗是人类的好朋友，但朋友也曾经只是食物', 'small_image': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'summary': '狗：啥？你再说一遍！', 'ukey_author': None, 'date_created': '2018-03-07T12:04:42+08:00', 'resource_url': 'https://apis.guokr.com/minisite/article/442811.json'}

from bs4 import BeautifulSoup
import requests
import json
import pymongo

url = 'http://www.guokr.com/scientific/'

def getData(url):
    connection = pymongo.MongoClient('localhost', 27017)
    guokeDB = connection.guokeDB
    guokeData = guokeDB.guokeData
    html = requests.get(url)
    data_list = json.loads(html.text)
    print(data_list.keys())
    for data in data_list['result']:
        guokeData.insert_one(data)

urls = ['http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset={}&_=1462252453410'.format(str(i)) for i in range(20, 100, 20)]
for url in urls:
    getData(url)

Python与数据库-网络爬虫存储

Python与数据库-网络爬虫存储

MongoDB安装

命令行下运行 MongoDB 服务器

MongoDB使用

插入数据

MongoDB配合python使用

案例分析

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读