美文网首页Python
爬虫学习(三)json字符串与数据库

爬虫学习(三)json字符串与数据库

作者: 拼了老命在学习 | 来源:发表于2020-07-14 09:56 被阅读0次

    1.1 json字符串支持的数据格式

    1.对象(字典)用 {} 表示
    2.数组(列表)用 [] 表示
    3.整形,浮点型
    4.字符串类型 必须用双引号 ""

    1.2 字符串和json数据的相互转换

    import json
    #1.json.dumps()将python对象转换为json字符串
    x = [
        {
            'name':'海东',
            'age':20
        },
        {
            "name":'王小明',
            'age':30
        }
    ]
    json_str = json.dumps(x)
    #2.将json字符串dump进文件
    with open('json.json','w',encoding='utf-8')as fp:
        json.dump(x,fp,ensure_ascii=False)
    #3.将json字符串load为字符串
    x = '[{"name": "海东", "age": 20}, {"name": "王小明", "age": 30}]'
    y = json.loads(x)
    print(y)
    #4.从文件中直接读取json字符串
    with open('json.json','r',encoding='utf-8')as fp:
        x = json.load(fp)
        print(x)
    

    1.3 csv文件的读写

    读CSV文件的两种方法

    #读取csv文件的两种方法
    #1
    import csv
    with open('stock.csv','r')as fp:
        #reader是一个迭代器
        reader = csv.reader(fp)
        next(reader)#剔除表头即0号元素
        for x in reader: #x是一个列表
            name = x[3] #获取特定数据
            value = x[-1]
            print({'name':name,'value':value})
    #2
    import csv
    with open('stock.csv','r')as fp:
        #使用DictReader创建的reader不会包含标题
        #reader是一个迭代器,遍历这个迭代器返回一个字典
        reader = csv.DictReader(fp)
        for x in reader:
            value = {"name":x['name'],'value':x['value']}
            print(value)
    

    写csv文件的两种方法

    #写CSV文件的两种方式
    #1.
    import csv
    headers = ['username','age','height']
    values = [('张三',18,160),('李四',18,160),('王二',18,160)]
    with open('value.csv','w',encoding='utf-8',newline='')as fp: #newline='',将换行符\n替换为''
        writer = csv.writer(fp)
        writer.writerow(headers)
        writer.writerows(values)
    #2.
    import csv
    headers = ['username','age','height']
    values = [{'username':'张三','age':18,'height':160},
              {'username':'李四','age':18,'height':160},
              {'username':'王二','age':18,'height':160}
              ]
    with open('file.csv','w',encoding='utf-8',newline='')as fp:
        writer= csv.DictWriter(fp,headers)
        writer.writeheader()
        writer.writerows(values)
    

    2.1写入MySQL数据库的两种方法

    # import pymysql
    #连接数据库
    # db = pymysql.connect(
    #     host='********', #主机名
    #     user='**', #MySQL用户名
    #     password='123456',
    #     database='test1', #数据库名
    #     port=3306
    # ) 
    # cursor = db.cursor()
    #直接插入数据 insert into user(表头) value(值)
    # sql = """
    # insert into user(id,username,age,password) value(2,'王小明',18,'123456')
    # """
    # cursor.execute(sql)
    # db.commit()
    # db.close()
    #通过函数方法插入数据
    # sql = """
    # insert into user(id,username,age,password) values(null ,%s,%s,%s)
    # """
    # #注意值需要带引号
    # username = 'spider'
    # age = '20'
    # password = '123456'
    # cursor.execute(sql,(username,age,password))
    # db.commit()
    # db.close()
    

    2.2 查找数据的三种方法

    #查找数据的三种方法
    #1.fetchone()一次只返回一条数据
    #2.fetchall()返回所有满足要求的数据
    #3.fetchmany(size) 获取特定条数的数据
    # import pymysql
    # db = pymysql.connect(
    #     host='*******',
    #     user='*****',
    #     password='*****',
    #     database='test1',
    #     port=3306
    # )
    # cursor = db.cursor()
    # sql = """
    # select username,age from user where id=2
    # """
    # cursor.execute(sql)
    # result = cursor.fetchone()
    # print(result)
    # db.close()
    #返回全部数据
    # sql = """
    # select * from user
    # """
    # cursor.execute(sql)
    # result = cursor.fetchall()
    # print(result)
    # db.close()
    #选取几条数据
    # sql = """
    # select * from user
    # """
    # cursor.execute(sql)
    # result = cursor.fetchmany(2)
    # print(result)
    # db.close()
    

    2.3 MySQL数据库的删除与更新操作

    import pymysql
    db = pymysql.connect(
        host='39.101.173.94',
        user='xy',
        password='123456',
        database='test1',
        port=3306
    )
    cursor = db.cursor()
    #删除数据
    sql = """
    delete from user where id=4
    """
    #更新数据
    sql = """
    update user set password='帝骑哥别盗我号' where id=3
    """
    cursor.execute(sql)
    db.commit()
    db.close()
    

    mysql数据库权限管理

    1.添加用户
    create user xxxx identified by 'password';
    创建了用户xxxx,密码是password
    2.授权
    grant all privileges on databasename.* to 'xxxx'@'%';
    flush privileges;
    上面的语句将databasename数据库的所有操作权限都授权给了用户xxxx
    3.修改密码
    update mysql.user set password = password('zhangsannew') where user = 'zhangsan' and host = '%';
    flush privileges;
    4.删除用户
    drop user zhangsan@'%';
    

    3.1MongoDB数据库基本知识

    database 数据库
    collection 数据库表/集合
    document 数据记录行
    filed 数据字段/域
    index 索引
    primary key 主键
    相关指令
    db 查看当前数据库
    show dbs 查看所有数据库
    use 数据库名   作用是切换数据库,若数据库不存在则创建数据库
    db.dropDatabase() 删除当前数据库
    db.集合名.insert(value)  添加数据到指定集合
    db.集合名.find()  查看指定集合中的所有数据
    本机MongoDB制作成服务后相关操作
    net start mongodb 启动服务
    net stop mongodb 停止服务
    "路径\mongod.exe" --remove 移除MongoDB
    

    3.2 python操控MongoDB数据库

    import pymongo
    #获取连接mongodb的对象
    client = pymongo.MongoClient("127.0.0.1",port=27017)
    #获取数据库
    db = client.zhihu
    #获取集合
    collection = db.qa
    #写入单条数据
    # collection.insert_one({'username':'海东大树','password':'Diend'})
    #写入多条数据
    # collection.insert_many([
    #     {
    #         "username":"王小明",
    #         "password":"decade",
    #         "tips":"没有比我更有爱心的骑士了"
    #     },
    #     {
    #         "username":"常磐庄吾",
    #         "password":"omazio",
    #         "tips":"帝骑哥别盗我号"
    #     }
    # ])
    #获取集合中所有数据
    # result = collection.find()
    # for x in result:
    #     print(x)
    #获取集合中一条数据
    # result = collection.find_one({"password":"omazio"}) #大括号为过滤条件
    # print(result)
    #更新一条数据
    # collection.update_one({"username":"海东大树"},{"$set":{"username":"白沃兹"}})
    #更新多条数据
    # collection.update_many({"username":"白沃兹"},{"$set":{"username":"海东大树"}})
    #删除一条数据
    # collection.delete_one({"username":"常磐庄吾"})
    #删除多条数据
    # collection.delete_many({"username":"王小明"})
    

    相关文章

      网友评论

        本文标题:爬虫学习(三)json字符串与数据库

        本文链接:https://www.haomeiwen.com/subject/kkomcktx.html