基本介绍
records是kennethreitz的for Humans™系列,使用原生sql去操作大多数的关系型数据库(Postgresql, MySQL, SQLite, Oracle和 MS-SQL),并且支持多种格式输出,如csv、excel、json等
github链接为:https://github.com/kennethreitz/records,
代码不超过1000行,如果是第一次尝试阅读python开源项目,这是一个很好的选择。
作者Kennethreitz是requests的作者,python领域的大牛人物之一,关于他还有一个励志的故事:Kenneth Reitz的逆袭之路
使用方法:
records库的使用非常简单且人性化,定义数据库连接串和sql语句,然后将返回值作为rows打印出来,或者输出为文件,没有复杂的orm逻辑,实现逻辑很清晰
import records
db = records.Database('postgres://...')
rows = db.query('select * from active_users') # or db.query_file('sqls/active-users.sql')
>>> rows[0]
<Record {"username": "model-t", "active": true, "name": "Henry Ford", "user_email": "model-t@gmail.com"}>
for r in rows:
print(r.name, r.user_email)
依赖库
records有一些pip依赖,每个依赖项的作用如下:
1)psycopg2==2.6.1
'''
psycopg2是python操作PostgreSQL数据库的库,但是在records的代码里并没有看到哪里有使用,sqlalchemy毕竟已经支持了postgresql,
而psycopg2是官方指定推荐的python driver
'''
2)py==1.4.31
'''
library with cross-python path, ini-parsing, io, code, log facilities
'''
3)pytest==2.8.7
'''
python单元测试
'''
4)tablib==0.11.1
'''
tablib:用于导出xls、csv、yaml等格式,records中的主要功能之二:导出sql查询的结果
参考链接:http://www.open-open.com/lib/view/open1410700050414.html
官方文档:https://pypi.python.org/pypi/tablib
'''
5)sqlalchemy==1.0.11
'''
用于数据库操作,python中最有名的ORM框架,records的主要功能:基于sqlalchemy进行封装
sqlalchemy: Python中,最有名的ORM框架是SQLAlchemy
参考文章:1
参考文章:http://www.jb51.net/article/49789.htm
参考文章:http://blog.csdn.net/mmx/article/details/48064109
import text: sqlalchemy推荐使用text()函数封装一下sql字符串
create_engine:建立数据库连接引擎
import declarative_base: 使用sqlalchemy.ext.declarative 来生成表, 所有的表都必须有主键.
'''
'''
6)docopt==0.6.2
'''
docopt根据你写的文档描述,自动为你生成解析器,可以非常容易的为你的python程序创建命令行界面,用于很多库的命令行指引。
'''
源码分析工具
建议的源码分析工具:pycharm3.x (运行调试)+ Source Insight 4.0(展示类/变量/方法结构图)
Source insight是一款很不错的阅读源码的工具,支持很多语言,有些人说好像3版本默认不支持python,需要配置,我下载的 Source Insight 4.0,没这个问题,打开就可以用。
代码目录结构
Database类:
封装基本数据库操作,主要使用query方法,调用SQLAlchemy的方法,获取结果后调用Record类获得Record生成器,再调用RecordCollection获得所有的结果,
* 调用sqlalchemy中的declarative_base获取table的所有表名
metadata = declarative_base().metadata
metadata.reflect(create_engine(self.db_url))
return metadata.tables.keys()
* 实现query_file和transaction,可以使用本地sql文件,支持事务。
* _enter__和__exit__配合,实现with数据库上下文管理器
Python
Record类:
接收database查询后的keys和rows,初始化时,检测是否长度一致,然后对其包装,使其支持迭代,支持直接to_dict转为dict对象,支持直接export导出。
除了基本的[0]索引形式,Record方法使其支持字符串查询,属性查询,支持get属性查询
1)支持以字符串的形式索引查找
if key in self.keys():
i = self.keys().index(key)
return self.values()[i]
2)支持以属性的形式查询
try:
return self[key]
except KeyError as e:
raise AttributeError(e)
3)支持get查询:
try:
return self[key]
except KeyError:
return default
4)通过tablib库,实现dataset属性:转为各种格式输出(json/txt/csv)
def dataset(self):
data = tablib.Dataset()
data.headers = self.keys()
row = _reduce_datetimes(self.values())
data.append(row)
return data
RecordCollection类:
部分方法和Record类相同,但RecordCollection实现了first方法,获取第一个row,如果不存在,则默认default为none,如果defalut本身就是实例或者exception的子类,直接抛出异常,另外,实现了一次实例化后多次查询时的缓存。
i == 0
while True:
# Other code may have iterated between yields,
# so always check the cache.
if i < len(self):
yield self[i]
else:
# Throws StopIteration when done.
yield next(self)
i += 1
全局变量和方法:
1)_reduce_datetimes方法,在tablib转为json等格式输出时,转化row中的时间字段。
row = list(row)
for i in range(len(row)):
if hasattr(row[i], 'isoformat'):
row[i] = row[i].isoformat()
return tuple(row)
2)cli主方法,通过docopt获取命令行输入的参数,做合法检测等
arguments = docopt(cli_docs)
# Create the Database.
db = Database(arguments['--url'])
query = arguments['<query>']
params = arguments['<params>']
基础概念:
1)获取系统环境变量,records中,初始化时传入数据库url,如果没传,才去找系统变量中的url
self.db_url = db_url or DATABASE_URL
DATABASE_URL = os.environ.get('DATABASE_URL')
'''
os.environ 获取系统环境变量
参考文档:http://blog.csdn.net/junweifan/article/details/7615591
'''
2)限制class的属性
__slots__ = ('_keys', '_values')
3)变量和方法名汇总
"""
变量:
1. 前带_的变量: 标明是一个私有变量, 只用于标明, 外部类还是可以访问到这个变量
2. 前带两个_ ,后带两个_ 的变量: 标明是内置变量,
3. 大写加下划线的变量: 标明是 不会发生改变的全局变量
函数:
1. 前带_的变量: 标明是一个私有函数, 只用于标明,
2. 前带两个_ ,后带两个_ 的函数: 标明是特殊函数
参考文章:
http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386820042500060e2921830a4adf94fb31bcea8d6f5c000
http://blog.163.com/zhulp0372@yeah/blog/static/11589447920132541933516/
http://blog.csdn.net/debugm/article/details/8179482
"""
4)repr和str的区别
http://www.cnpythoner.com/post/251.html
5)_ _getitem__和__setitem__为特殊方法,做重新定义
用于实现某些get的属性的校验需求,参考示例:http://www.jb51.net/article/87447.htm
此处用于判断:key是int型还是string型,不同的get逻辑
print(row[1])
print(row["name"])
6)重载 __getattr__ 和 __setattr__
来拦截对成员的访问,需要注意的是 __getattr__ 只有在访问不存在的成员时才会被调用
参考示例:http://www.360doc.com/content/14/0322/02/9482_362601063.shtml
print(row.name) //获取属性,仍然调用__getitem__
7)OrderedDict
""" OrderedDict提供了一个有序的字典结构,记录了每个键值对添加的顺序,
如果初始化的时候同时传入多个参数,它们的顺序是随机的,不会按照位置顺序存储。"""
return OrderedDict(items) if ordered else dict(items)
8)@property装饰器
负责把dataset方法变成属性调用
9)__next__和__iter__
构造迭代器
测试demo
# -*- coding: utf-8 -*-
# import records
from source_code.records import records
from sqlalchemy import *
def demo():
a = 1
if a == 1:
raise IOError("SSS")
def demo1():
db = records.Database('mysql://root:root@localhost:3306/ceshi')
rows = db.query("select * from cece")
row = rows[0]
print(row.keys)
print(row.values)
print(row[1])
print(row["name"])
print("---")
print(row.as_dict())
def demo2():
mysql_engine = create_engine('mysql://root:root@localhost:3306/ceshi')
connection = mysql_engine.connect()
result = connection.execute("select * from cece")
print(result.keys())
if __name__ == '__main__':
demo1()
demo2()
网友评论