MySQL

接上篇

更新数据

在这里同样是用占位符的方式构造 SQL，然后执行 excute() 方法，传入元组形式的参数，同样执行 commit() 方法执行操作。
如果要做简单的数据更新的话，使用此方法是完全可以的。
但是在实际数据抓取过程中，在大部分情况下是需要插入数据的，但是我们关心的是会不会出现重复数据，如果出现了重复数据，我们更希望的做法一般是更新数据而不是重复保存一次，另外就是像上文所说的动态构造 SQL 的问题，所以在这里我们在这里重新实现一种可以做到去重的做法，如果重复则更新数据，如果数据不存在则插入数据，另外支持灵活的字典传值。

db = pymysql.connect(host='localhost', user='root', password='root', db='spiders')
cursor = db.cursor()
data = {
    'id': '20120011',
    'name': 'BB',
    'age': 20

}
table = 'students'
keys = ','.join(data.keys())
values = ','.join(['%s']*len(data))

sql = 'INSERT INTO {table}({keys})VALUES ({values}) ON DUPLICATE KEY UPDATE '.format(table=table, keys=keys, values=values )
update = ','.join(["{key}=%s".format(key=key)for key in data])
sql += update

try:
    if cursor.execute(sql, tuple(data.values())*2):
        print("Successful!")
        db.commit()

except:
    print("Failed")
    db.rollback()
db.close()

在这里构造的 SQL 语句其实是插入语句，但是在后面加了 ON DUPLICATE KEY UPDATE，这个的意思是如果主键已经存在了，那就执行更新操作，比如在这里我们传入的数据 id 仍然为 20120001，但是年龄有所变化，由 20 变成了 21，但在这条数据不会被插入，而是将 id 为 20120001 的数据更新。+

在这里完整的 SQL 构造出来是这样的：

INSERT INTO students(id, name, age) VALUES (%s, %s, %s) ON DUPLICATE KEY UPDATE id = %s, name = %s, age = %s

比上面介绍的插入操作的 SQL，后面多了一部分内容，那就是更新的字段，ON DUPLICATE KEY UPDATE 使得主键已存在的数据进行更新，后面跟的是更新的字段内容。所以这里就变成了 6 个 %s。所以在后面的 execute() 方法的第二个参数元组就需要乘以 2 变成原来的 2 倍。+

如此一来，我们就可以实现主键不存在便插入数据，存在则更新数据的功能了。

更新数据

6、删除数据

删除操作相对简单，使用 DELETE 语句即可，需要指定要删除的目标表名和删除条件，而且仍然需要使用 db 的 commit() 方法才能生效，实例如下：

db = pymysql.connect(host='localhost', user='root', password='root',db='spiders')
cursor = db.cursor()
table = 'students'
condition = 'age> 20'

sql = 'DELETE FROM {table} WHERE {condition}'.format(table=table, condition=condition)
try:
    cursor.execute(sql)
    db.commit()
except:
    db.rollback()

db.close()

在这里我们指定了表的名称，删除条件。因为删除条件可能会有多种多样，运算符比如有大于、小于、等于、LIKE等等，条件连接符比如有 AND、OR 等等，所以不再继续构造复杂的判断条件，在这里直接将条件当作字符串来传递，以实现删除操作。

7、查询数据

说完插入、修改、删除等操作，还剩下非常重要的一个操作，那就是查询。
在这里查询用到 SELECT 语句，我们先用一个实例来感受一下：

db = pymysql.connect(host='localhost', user='root', password='root', db='spiders')
cursor = db.cursor()
table = 'students'
sql = 'SELECT * FROM {table} WHERE age=20'.format(table=table)
print(sql)

try:
    cursor.execute(sql)  # 执行SQL语句
    print('Count:', cursor.rowcount)  # 统计行数
    one = cursor.fetchone()  # 获取单条数据
    print('One:', one)
    results = cursor.fetchall()  # 获取所有数据
    print('results:', results)
    print('results Type:', type(results))  # 打印类型

    for row in results:  # 逐行打印元组
        print(row) 
except:
    print("Error!")
db.close()

运行结果

查询结果

在这里我们构造了一条 SQL 语句，将年龄 20 岁的学生查询出来，然后将其传给 execute() 方法即可，注意在这里不再需要 db 的 commit() 方法。然后我们可以调用 cursor 的 rowcount 属性获取查询结果的条数，当前示例中获取的结果条数是 2 条。
然后我们调用了 fetchone() 方法，这个方法可以获取结果的第一条数据，返回结果是元组形式，元组的元素顺序跟字段一一对应，也就是第一个元素就是第一个字段 id，第二个元素就是第二个字段 name，以此类推。随后我们又调用了fetchall() 方法，它可以得到结果的所有数据，然后将其结果和类型打印出来，它是二重元组，每个元素都是一条记录。我们将其遍历输出，将其逐个输出出来。
但是这里注意到一个问题，显示的是1条数据，fetall() 方法不是获取所有数据吗？为什么只有1条？这是因为它的内部实现是有一个偏移指针来指向查询结果的，最开始偏移指针指向第一条数据，取一次之后，指针偏移到下一条数据，这样再取的话就会取到下一条数据了。所以我们最初调用了一次 fetchone() 方法，这样结果的偏移指针就指向了下一条数据，fetchall() 方法返回的是偏移指针指向的数据一直到结束的所有数据，所以 fetchall() 方法获取的结果就只剩 1个了，所以在这里要理解偏移指针的概念。
所以我们还可以用 while 循环加 fetchone() 的方法来获取所有数据，而不是用 fetchall() 全部一起获取出来，fetchall() 会将结果以元组形式全部返回，如果数据量很大，那么占用的开销会非常高。所以推荐使用如下的方法来逐条取数据：

db = pymysql.connect(host='localhost', user='root', password='root', db='spiders')
cursor = db.cursor()
sql = 'SELECT * FROM students WHERE age=20'
try:
    cursor.execute(sql)
    print('Count:', cursor.rowcount)
    row = cursor.fetchone()
    while row:
        print('Row', row)
        row = cursor.fetchone()
except:
    print('Error!')
db.close()

运行结果

全部取出

这样每循环一次，指针就会偏移一条数据，随用随取，简单高效。