python3测试工具开发快速入门教程9重要的标准库-基础篇

操作系统接口

os模块提供了一些与操作系统交互的函数:

>>> import os
>>> os.getcwd()      # Return the current working directory
'C:\\Python36'
>>> os.chdir('/server/accesslogs')   # Change current working directory
>>> os.system('mkdir today')   # Run the command mkdir in the system shell
0

用import os而不是from os import *。否则os.open()会覆盖内置函数open()。

对os这样的大型模块, 内置的open()和help()函数非常有用:

>>> import os
>>> dir(os)
<returns a list of all module functions>
>>> help(os)
<returns an extensive manual page created from the module's docstrings>

针对日常的文件和目录管理任务，shutil模块提供了易于使用的高级接口:

>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')
'archive.db'
>>> shutil.move('/build/executables', 'installdir')
'installdir'

• 参考资料

[雪峰磁针石博客]python库介绍-os.path: 平台独立的文件名操作

[雪峰磁针石博客]python库介绍-pathlib: 文件系统对象

文件通配符

glob模块提供了函数用于从目录通配符搜索生成文件列表:

>>> import glob
>>> glob.glob('*.py')
['primes.py', 'random.py', 'quote.py']

命令行参数

命令行参数以列表形式存储于sys.argv 变量。例如在命令行中执行 python demo.py one two three 后可以得到以下输出结果:

>>> import sys
>>> print(sys.argv)
['demo.py', 'one', 'two', 'three']

getopt(不推荐使用)模块使用Unix getopt()函数处理 sys.argv。更多的复杂命令行处理参见argparse。

[雪峰磁针石博客]python库介绍-argparse: 命令行选项及参数解析

错误输出重定向和程序终止

sys的stdin、stdout和 stderr属性，即使stdout重定向，stderr也可显示警告和错误信息:

>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one

直接终止多使用 sys.exit()。

字符串模式匹配

re模块为高级字符串处理提供了正则表达式工具。对于复杂的匹配和处理，正则表达式提供了简洁、最优的解决方案:

>>> import re
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
'cat in the hat'

简单操作，字符串方法最好用，因为它们易读又容易调试:

>>> 'tea for too'.replace('too', 'two')
'tea for two'

数学

math模块为浮点运算提供了底层C函数库的访问:

>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0

random提供了生成随机数的工具:

>>> import random
>>> random.choice(['apple', 'pear', 'banana'])
'apple'
>>> random.sample(range(100), 10)   # sampling without replacement
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random()    # random float
0.17970987693706186
>>> random.randrange(6)    # random integer chosen from range(6)
4

statistics模块计算数字数据的基本统计属性(平均值，中位数，方差等)：

>>> import statistics
>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(data)
1.6071428571428572
>>> statistics.median(data)
1.25
>>> statistics.variance(data)
1.3720238095238095

[SciPy项目]https://scipy.org/about.html)有许多其他数值计算模块。其中的numpy的数值计算和随机数功能都很强悍。pandas则是数据分析的利器。scikit-learn则有强大的统计功能。

• 参考资料：

[雪峰磁针石博客]scikit-learn_cookbook1: 高性能机器学习-NumPy

互联网访问

有几个模块用于访问互联网以及处理网络通信协议。其中最简单的：urllib.request从URL获取信息；发送电子邮件的smtplib。

>>> from urllib.request import urlopen
>>> with urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl') as response:
...     for line in response:
...         line = line.decode('utf-8')  # Decoding the binary data to text.
...         if 'EST' in line or 'EDT' in line:  # look for Eastern Time
...             print(line)

<BR>Nov. 25, 09:43:32 PM EST

>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
... """To: jcaesar@example.org
... From: soothsayer@example.org
...
... Beware the Ides of March.
... """)
>>> server.quit()

(注意第二个例子需要在localhost运行邮件服务器。)

日期和时间

datetime 模块为日期和时间处理同时提供了简单和复杂的方法。支持日期和时间算法的同时，实现的重点放在更有效的处理和格式化输出。该模块还支持时区处理。

>>> # dates are easily constructed and formatted
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'

>>> # dates support calendar arithmetic
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368

数据压缩

以下模块直接支持通用的数据打包和压缩格式：zlib， gzip， bz2， lzma， zipfile 以及 tarfile。

>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)
>>> len(t)
37
>>> zlib.decompress(t)
b'witch which has which witches wrist watch'
>>> zlib.crc32(s)
226805979

性能度量

例如元组封装和解包来交换元素比使用传统的方法更快。

>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791

profile和、pstats提供了针对更大代码块的时间度量工具。

质量控制

一种开发高质量软件的方法是为每个函数开发测试代码，并且在开发过程中经常进行测试。

doctest根据程序中内嵌的文档字符串执行测试。测试构造如同简单的将它的输出结果剪切并粘贴到文档字符串中，通过式通过实例改善了文档:

def average(values):
    """Computes the arithmetic mean of a list of numbers.

    >>> print(average([20, 30, 70]))
    40.0
    """
    return sum(values) / len(values)

import doctest
doctest.testmod()   # automatically validate the embedded tests

unittest模块不像doctest那么容易使用，不过它可以在文件里提供更全面的测试集:

import unittest

class TestStatisticalFunctions(unittest.TestCase):

    def test_average(self):
        self.assertEqual(average([20, 30, 70]), 40.0)
        self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
        with self.assertRaises(ZeroDivisionError):
            average([])
        with self.assertRaises(TypeError):
            average(20, 30, 70)

unittest.main()  # Calling from the command line invokes all tests

外部库pytest提供了极其强悍的测试功能，很多测试平台就是基于pytest构建的。nose也是一个不错的选择。

• 参考资料

[雪峰磁针石博客]python外部测试框架
[雪峰磁针石博客]自动化测试框架pytest教程

参考资料

• 讨论qq群144081101 591302926 567351477 钉钉免费群21745728
• 本文最新版本地址
• 本文涉及的python测试开发库 谢谢点赞！
• 本文相关海量书籍下载
• 本文源码地址

更多库简介

• xmlrpc.client和xmlrpc.server模块让远程过程调用变得轻而易举。用户无需处理XML。

• email 包是管理邮件信息的库，包括MIME和其它基于RFC2822的信息文档。不同于实际发送和接收信息的 smtplib 和 poplib 模块，email包含构造或解析复杂消息结构（包括附件）及实现互联网编码和头协议的完整工具集。

• json包为解析json这种流行的数据交换格式提供了强大的支持。 csv模块支持直接读写逗号分隔值格式文件。 XML处理由xml.etree.ElementTree，xml.dom和xml.sax包支持。

• sqlite3模块提供了一个持久数据库，可以使用与标准的SQL略有差异的语法来更新和访问。

• 国际化由 gettext， locale 和 codecs 包支持。

• [雪峰磁针石博客]python库介绍-collections：高性能容器数据类型, 提供有序字典、命名元组和双端队列等数据类型。