美文网首页
你的第一份Python库源码阅读:records库

你的第一份Python库源码阅读:records库

作者: 手艺人AA | 来源:发表于2019-05-19 16:05 被阅读0次

    基本介绍

    records是kennethreitz的for Humans™系列,使用原生sql去操作大多数的关系型数据库(Postgresql, MySQL, SQLite, Oracle和 MS-SQL),并且支持多种格式输出,如csv、excel、json等

    github链接为:https://github.com/kennethreitz/records

    代码不超过1000行,如果是第一次尝试阅读python开源项目,这是一个很好的选择。

    作者Kennethreitz是requests的作者,python领域的大牛人物之一,关于他还有一个励志的故事:Kenneth Reitz的逆袭之路

    使用方法:

    records库的使用非常简单且人性化,定义数据库连接串和sql语句,然后将返回值作为rows打印出来,或者输出为文件,没有复杂的orm逻辑,实现逻辑很清晰

    
    import records
    
    db = records.Database('postgres://...')
    rows = db.query('select * from active_users')    # or db.query_file('sqls/active-users.sql')
    
    >>> rows[0]
    <Record {"username": "model-t", "active": true, "name": "Henry Ford", "user_email": "model-t@gmail.com"}>
    
    for r in rows:
        print(r.name, r.user_email)
    

    依赖库

    records有一些pip依赖,每个依赖项的作用如下:

    1)psycopg2==2.6.1
    
    '''
    psycopg2是python操作PostgreSQL数据库的库,但是在records的代码里并没有看到哪里有使用,sqlalchemy毕竟已经支持了postgresql,
        而psycopg2是官方指定推荐的python driver
    '''
    2)py==1.4.31
    
    '''
    library with cross-python path, ini-parsing, io, code, log facilities
    '''
    3)pytest==2.8.7
    
    '''
    python单元测试
    
    '''
    4)tablib==0.11.1
    
    '''
    tablib:用于导出xls、csv、yaml等格式,records中的主要功能之二:导出sql查询的结果
    参考链接:http://www.open-open.com/lib/view/open1410700050414.html
    官方文档:https://pypi.python.org/pypi/tablib
    
    '''
    5)sqlalchemy==1.0.11
    
    '''
    用于数据库操作,python中最有名的ORM框架,records的主要功能:基于sqlalchemy进行封装
    sqlalchemy: Python中,最有名的ORM框架是SQLAlchemy
    参考文章:1
    参考文章:http://www.jb51.net/article/49789.htm
    参考文章:http://blog.csdn.net/mmx/article/details/48064109
    
    import text: sqlalchemy推荐使用text()函数封装一下sql字符串
    create_engine:建立数据库连接引擎
    import declarative_base: 使用sqlalchemy.ext.declarative 来生成表, 所有的表都必须有主键.
    '''
     '''
    6)docopt==0.6.2
    
    '''
    docopt根据你写的文档描述,自动为你生成解析器,可以非常容易的为你的python程序创建命令行界面,用于很多库的命令行指引。
    
    '''
    

    源码分析工具

    建议的源码分析工具:pycharm3.x (运行调试)+ Source Insight 4.0(展示类/变量/方法结构图)

    Source insight是一款很不错的阅读源码的工具,支持很多语言,有些人说好像3版本默认不支持python,需要配置,我下载的 Source Insight 4.0,没这个问题,打开就可以用。

    代码目录结构

    Database类:

    封装基本数据库操作,主要使用query方法,调用SQLAlchemy的方法,获取结果后调用Record类获得Record生成器,再调用RecordCollection获得所有的结果,

    * 调用sqlalchemy中的declarative_base获取table的所有表名
    
    metadata = declarative_base().metadata
    metadata.reflect(create_engine(self.db_url))
    return metadata.tables.keys()
    
    *  实现query_file和transaction,可以使用本地sql文件,支持事务。
    
    *  _enter__和__exit__配合,实现with数据库上下文管理器
    Python
    
    

    Record类:

    接收database查询后的keys和rows,初始化时,检测是否长度一致,然后对其包装,使其支持迭代,支持直接to_dict转为dict对象,支持直接export导出。

    除了基本的[0]索引形式,Record方法使其支持字符串查询,属性查询,支持get属性查询
    
    1)支持以字符串的形式索引查找
    if key in self.keys():
       i = self.keys().index(key)
       return self.values()[i]
    
    2)支持以属性的形式查询
    try:
         return self[key]
    except KeyError as e:
         raise AttributeError(e)
    
    3)支持get查询:
    try:
        return self[key]
    except KeyError:
        return default
    
    4)通过tablib库,实现dataset属性:转为各种格式输出(json/txt/csv)
    def dataset(self):
            data = tablib.Dataset()
            data.headers = self.keys()
            row = _reduce_datetimes(self.values())
            data.append(row)
            return data
    

    RecordCollection类:

    部分方法和Record类相同,但RecordCollection实现了first方法,获取第一个row,如果不存在,则默认default为none,如果defalut本身就是实例或者exception的子类,直接抛出异常,另外,实现了一次实例化后多次查询时的缓存。

    i == 0
    while True:
        # Other code may have iterated between yields,
        # so always check the cache.
        if i < len(self):
            yield self[i]
        else:
            # Throws StopIteration when done.
            yield next(self)
        i += 1
    

    全局变量和方法:

    1)_reduce_datetimes方法,在tablib转为json等格式输出时,转化row中的时间字段。
    row = list(row)
    for i in range(len(row)):
         if hasattr(row[i], 'isoformat'):
              row[i] = row[i].isoformat()
    return tuple(row)
    
    2)cli主方法,通过docopt获取命令行输入的参数,做合法检测等
    arguments = docopt(cli_docs)
    # Create the Database.
    db = Database(arguments['--url'])
    query = arguments['<query>']
    params = arguments['<params>']
    
    

    基础概念:

    1)获取系统环境变量,records中,初始化时传入数据库url,如果没传,才去找系统变量中的url
    
    self.db_url = db_url or DATABASE_URL
    DATABASE_URL = os.environ.get('DATABASE_URL')
    '''
    os.environ    获取系统环境变量
    参考文档:http://blog.csdn.net/junweifan/article/details/7615591
    '''
    
    2)限制class的属性
    __slots__ = ('_keys', '_values')
    
    3)变量和方法名汇总
    """
            变量:
            1.  前带_的变量:  标明是一个私有变量, 只用于标明, 外部类还是可以访问到这个变量
            2.  前带两个_ ,后带两个_ 的变量:  标明是内置变量,
            3.  大写加下划线的变量:  标明是 不会发生改变的全局变量
            函数:
            1. 前带_的变量: 标明是一个私有函数, 只用于标明,
            2.  前带两个_ ,后带两个_ 的函数:  标明是特殊函数
    
            参考文章:
            http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001386820042500060e2921830a4adf94fb31bcea8d6f5c000
            http://blog.163.com/zhulp0372@yeah/blog/static/11589447920132541933516/
            http://blog.csdn.net/debugm/article/details/8179482
    
            """
    
    4)repr和str的区别
    http://www.cnpythoner.com/post/251.html
    
    5)_ _getitem__和__setitem__为特殊方法,做重新定义
    用于实现某些get的属性的校验需求,参考示例:http://www.jb51.net/article/87447.htm
    此处用于判断:key是int型还是string型,不同的get逻辑
    print(row[1])
    print(row["name"])
    
    6)重载 __getattr__ 和 __setattr__
    来拦截对成员的访问,需要注意的是 __getattr__ 只有在访问不存在的成员时才会被调用
    参考示例:http://www.360doc.com/content/14/0322/02/9482_362601063.shtml
    print(row.name) //获取属性,仍然调用__getitem__
    
    7)OrderedDict
    """  OrderedDict提供了一个有序的字典结构,记录了每个键值对添加的顺序,
    如果初始化的时候同时传入多个参数,它们的顺序是随机的,不会按照位置顺序存储。"""
    return OrderedDict(items) if ordered else dict(items)
    
    8)@property装饰器
    负责把dataset方法变成属性调用
    
    9)__next__和__iter__
    构造迭代器
    

    测试demo

    # -*- coding: utf-8 -*-
    # import records
    from source_code.records import records
    from sqlalchemy import *
    
    def demo():
        a = 1
        if a == 1:
            raise IOError("SSS")
    
    def demo1():
        db = records.Database('mysql://root:root@localhost:3306/ceshi')
        rows = db.query("select * from cece")
        row = rows[0]
        print(row.keys)
        print(row.values)
        print(row[1])
        print(row["name"])
        print("---")
        print(row.as_dict())
    
    
    def demo2():
        mysql_engine = create_engine('mysql://root:root@localhost:3306/ceshi')
        connection = mysql_engine.connect()
        result = connection.execute("select * from cece")
        print(result.keys())
    
    if __name__ == '__main__':
        demo1()
        demo2()
    

    相关文章

      网友评论

          本文标题:你的第一份Python库源码阅读:records库

          本文链接:https://www.haomeiwen.com/subject/onrqzqtx.html