最近正在学习Sebastian Raschka的《Python Machine Learning》。在第8章“Applying Machine Learning to Sentiment Analysis”中，我发现作者对于在线学习（Online Learning）中的分组操作的实现（get_minibatch）并不足够Pythonic。这里提供一个更为简洁的解决方案，顺带复习一下Python中的iterator和itertools。
虽然打着Machine Learning的旗号，但这篇短文的主要内容是仅仅和Python相关的。
首先剥离掉机器学习的背景，介绍一下需要解决的问题：
输入一个iterator和一个整数size，希望返回一个新的iterator，其每次迭代的结果是输入的iterator中连续size个元素组成的列表。
以上需求通过一个计数器可以很直观的实现
def naive_subgroup(iter_in, size):
"""
iter_out = subgroup(iter_in, size)
[iterable] iter_out: a new iterable that will return "size" elements from iter_in
in one iteration.
[iterable] iter_in: input iterable
[int] size: size of group in each iteration of returned iterable
"""
i = 0
ret = list()
for ele in iter_in:
ret.append(ele)
i += 1
if i == size:
yield ret
ret = list()
i = 0
虽然上述实现可以满足需求，但计数器的出现显得太冗余了，毕竟我们不是在写Pascal和C。Python作为一门以灵活性和丰富的内置library著称的语言，是有很多方式可以在不显式使用整形计数器的情况下实现同样的逻辑功能的。
以下实现来自于《Python Machine Learning》中。我稍微修改了原书中的代码，去除了一些和机器学习相关的语句。同时原书中并没有将相关函数实现成迭代器，而是实现成普通函数并在后续程序中重复调用。这里为了保持上下文的一致性，我加入了一个顶层的循环，并把return改写成了yield。
def complex_subgroup(iter_in, size):
"""
iter_out = subgroup(iter_in, size)
[iterable] iter_out: a new iterable that will return "size" elements from iter_in
in one iteration.
[iterable] iter_in: input iterable
[int] size: size of group in each iteration of returned iterable
"""
ret = list()
while True:
try:
for _ in range(size):
ele = next(iter_in)
ret.append(ele)
yield ret
ret = list()
except StopIteration:
return None
可以看出，原书作者通过for循环和range(size)取代了方案1中计数器的功能，又用捕获内置的StopIteration异常控制了在输入迭代器被完整遍历后的行为。这个方案看上去比方案1更为简洁。但是它有两个明显的缺点。
-
如果输入迭代器的长度不是
size的整数倍，那么最后一段内容会被丢弃掉。正所谓21世纪最宝贵的是人才，AI时代最宝贵的是数据。虽然在原书的实例中训练集的大小确实是size的整数倍，但如果将代码应用于更普通的环境中，它很可能会浪费一小部分宝贵的数据。 -
虽然代码的逻辑没毛病，但直接操作
iterator底层的next()函数和StopIteration异常一般被认为是应该避免的行为。这些底层元素很容易带来难以调试的逻辑错误。
itertools和collections是Python内置的两个非常宝贵的库，他们提供了一些和循环、迭代、容器等功能相关的预处理函数，可以在数据处理相关的任务中节省很多coding。在这个案例中，可以运用itertools中的groupby函数实现对输入iterable的分组输出。
首先看一下groupby的文档。
itertools.groupby(iterable, key=None)Make an iterator that returns consecutive keys and groups from the iterable. The key is a function computing a key value for each element. If not specified or is None, key defaults to an identity function and returns the element unchanged. Generally, the iterable needs to already be sorted on the same key function.
可以看出，groupby会把输入iterable中的元素按key函数的结果分组，然后每次迭代时输出一组。在这个案例中，需要把连续的size个元素划为一组，这可以通过获得每个元素的序号然后对序号和size作整除操作实现。
代码呼之欲出。
def subgroup(iter_in, size):
"""
iter_out = subgroup(iter_in, size)
[iterable] iter_out: a new iterable that will return "size" elements from iter_in
in one iteration.
[iterable] iter_in: input iterable
[int] size: size of group in each iteration of returned iterable
"""
from itertools import groupby
for _, group in groupby(enumerate(iter_in), key=lambda e: e[0] // size):
yield list(zip(*group))[1]
网友评论