1建数据库语句
create database mogujie default character set='utf8';
use mogujie;
create table goods (
id int primary key auto_increment,
trade_itemid varchar(32),
img varchar(1024),
link varchar(1024),
title varchar(1024),
org_price varchar(32),
price varchar(32)
);
2数据库操作函数
import pymysql
# 获取数据库连接
def get_connection():
host = '127.0.0.1'
port = 3306
user = 'root'
password = '123456'
database = 'mogujie'
db = pymysql.connect(host, user, password, database, charset='utf8', port=port)
return db
# 获取数据库游标
def get_cursor(db):
cursor = db.cursor()
return cursor
# 关闭链接
def close_connection(db):
db.colos()
# 插入一条记录(可以被注入sql语句)
def insert_mogujie_record_sql(db, cursor, item):
sql = 'insert into goods (trade_itemid, img, link, title, org_price, price) values("%s","%s","%s","%s","%s","%s")'%(item['tradeItemId'], item['img'], item['link'], item['title'], item['orgPrice'], item['price'])
print(sql)
cursor.execute(sql)
# 需要上传，数据才能存入数据库
db.commit()
# 插入一条记录(不能被注入sql语句，建议采用)
def insert_mogujie_record(db, cursor, item):
sql = 'insert into goods (trade_itemid, img, link, title, org_price, price) values(%s,%s,%s,%s,%s,%s)'
cursor.execute(sql, (item['tradeItemId'], item['img'], item['link'], item['title'], item['orgPrice'], item['price']))
print(sql)
# 需要上传，数据才能存入数据库
db.commit()
sql = 'insert into goods (trade_itemid, img, link, title, org_price, price) values("%s","%s","%s","%s","%s","%s")'%(item['tradeItemId'], item['img'], item['link'], item['title'], item['orgPrice'], item['price'])
cursor.execute(sql)通过这种方式可以插入数据；但也可以被提交数据的人注入sql语句对数据库进行操作。插入形如a1");delete from movie;" 这种格式的语句。例如：
insert into movie ( title, actor) values ("a1");delete from movie;"", "ab", "dd")
故一般用下面语句:
sql = 'insert into goods (trade_itemid, img, link, title, org_price, price) values(%s,%s,%s,%s,%s,%s)'
cursor.execute(sql, (item['tradeItemId'], item['img'], item['link'], item['title'], item['orgPrice'], item['price']))通过将数据作为参数的形式插入而不是拼接字符串。
在上面注入sql的语句中可以通过对其使用：阻止分号转义或者删除分号两种方法可以使注入的sql语句失效。
3爬取ajx渲染的网页并存入数据库
import json
import re
from mogujie_db_helper import *
import requests
db = get_connection()
cursor = get_cursor(db)
# 获取单个网页
def get_page():
# 网址
url = 'https://list.mogujie.com/search?callback=jQuery21106839242500718683_1550628335676&_version=8193&ratio=3%3A4&cKey=15&page=2&sort=pop&ad=0&fcid=50020&action=trousers&acm=3.mce.1_10_1ks9s.128038.0.lNFGTrizXmwD3.pos_2-m_484852-sd_119&ptp=1.n5T00.0.0.OyhOtYtw&_=1550628335678'
# 伪装请求头
headers = {
"User-Agent": "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
# 'Referer': "https://www.mogujie.com/",
# "Host": "api.mogujie.com"
}
# 请求网页并返回响应
response = requests.get(url, headers=headers)
if response.status_code == 200:
return response.content.decode('utf-8')
return None
# 解析网页
def parse_page(html):
pattern = re.compile('.*?\((.*?)\).*?;', re.S)
result = re.findall(pattern, html)[0]
# json格式转python格式
result_dict = json.loads(result)
result_list = result_dict['result']['wall']['docs']
for item in result_list:
print(item['title'])
insert_mogujie_record(db, cursor, item)
return result_dict
def main():
html = get_page()
parse_page(html)
if __name__ == '__main__':
main()
4Mysql环境变量配置
windows下配置环境变量
1.高级环境变量配置页面：系统变量 - path - 编辑 - 添加 - 将复制的路径粘贴，确定
2.echo %path% cmd中查看环境变量
linux和mac中配置环境变量
cd 进入用户目录
ls -la
vim .bash_profile
将路径粘贴到里面
source .bash_profile
5cmd中运行mysql
以下语句都是在cmd窗口中运行
5.1方法一
mysql -uroot -p cmd中链接数据库
登陆后：执行. D:\pythonwork\spider\day02\maoyan.sql 运行sql语句
show databses;
show tables;
show maoyan;
5.2方法二
登陆前：mysql -uroot -p123456 <D:\pythonwork\spider\day03\mogujie.sql 运行sql语句
经过上面语句后，已经执行了sql语句建好了数据库及表格
mysql -uroot -p 登陆mysql
登陆mysql后
删除数据库：drop database mogujie ;
查看所有数据库：show databases;
切换到数据库：use mogujie;
查看数据库下所有表格：show tables;
查看goods表有多少条数据：select count(*) from goods;
exit 退出当前登陆
desc 表名; 查看表格
5.3方法三
在cmd中登陆mysql后，直接在cmd窗口中输入sql语句建库，切换数据库及建表也可以创建。
网友评论