“唯之与阿，相去几何？
善之与恶，相去何若？
人之所畏，不可不畏。
荒兮，其未央哉!
众人熙熙，如享太牢，如春登台。
我独泊兮，其未兆，如婴儿之未孩；傫傫兮，若无所归！
众人皆有余，而我独若遗。
我愚人之心也哉!”[1]
在用scikit-learn做增量训练的时候，一般都会事先实现一个文件流迭代器，将一个大数据文件分多次使用[2]，会用到yield关键字，当一个函数或方法中出现了yield之后，这个函数或方法就会被看作一个生成器（generators）了，可以使用.next()方法获取内容。
通常意义上的函数或者方法，在程序的其他部分调用一旦返回，函数的生命周期也就结束，再次调用的时候，函数会重新被执行。而今天要介绍的yield最大的特点就是，函数的执行会被多次调用，下一次调用总是从上一次yield返回的地方开始执行，也就是多次被调用的函数拥有了记忆功能。
被赋予生成器的函数，只会被“完整”的调用一次，也即执行到函数体的最后一行指令。
1.函数第一次调用，会在函数体中yield的地方返回。
2.函数第二次调用，程序会从上次返回的地方接着往下继续执行，直到再次遇到yield
文件流迭代器
def iter_minibatches(data_stream, minibatch_size=1000):
'''
迭代器
给定文件流（比如一个大文件），每次输出minibatch_size行，默认选择1k行
将输出转化成numpy输出，返回X, y
'''
X = []
y = []
cur_line_num = 0
csvfile = file(data_stream, 'rb')
reader = csv.reader(csvfile)
for line in reader:
y.append(float(line[0]))
X.append(line[1:]) # 这里要将数据转化成float类型
cur_line_num += 1
if cur_line_num >= minibatch_size:
X, y = np.array(X), np.array(y) # 将数据转成numpy的array类型并返回
yield X, y # 每次调用，如迭代未结束，则都是在此处返回
X, y = [], []
cur_line_num = 0
csvfile.close()
# 生成测试文件
minibatch_test_iterators = iter_minibatches(test_file, minibatch_size=5000)
X_test, y_test = minibatch_test_iterators.next() # 得到一份测试文件
使用文件流迭代器进行增量训练
from sklearn.linear_model import SGDClassifier
sgd_clf = SGDClassifier() # SGDClassifier的参数设置可以参考sklearn官网
minibatch_train_iterators = iter_minibatches(data_part_file, minibatch_size=2000) # 文件批量迭代器
for i, (X_train, y_train) in enumerate(minibatch_train_iterators):
# 使用 partial_fit ，并在第一次调用 partial_fit 的时候指定 classes
sgd_clf.partial_fit(X_train, y_train, classes=np.array([0, 1]))
print("{} time".format(i)) # 当前次数
print("{} score".format(sgd_clf.score(X_test, y_test))) # 在测试集上看效果
关于 yield 和 generators的概念 ，我觉得下面两篇帖子讲的挺好的，可以移步去看看：
提高你的Python: 解释 yield 和 Generators（生成器）
彻底理解Python中的yield
网友评论