这次要写的是stl10用于自编码器
自编码，又称自编码器（autoencoder），是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器（autoencoder）内部有一个隐藏层h，可以产生编码（code）表示输入。该网络可以看作由两部分组成：一个由函数h = f(x) 表示的编码器和一个生成重构的解码器r = g(h)。
自编码器（Autoencoder，AE）是一个3层或者大于3层的神经网络，将输入表达X编码为一个新的表达Y，然后再将Y解码回X。这是一个非监督学习算法，使用反向传播算法来训练网络使得输出等于输入。当向网络中添加一些限制时，可以学到一些关于输入表达的有趣结构。当隐含层节点数d比输入层节点数n小时，可以得到一个输入的压缩表达。当d比n大时，添加一些限制，比如稀疏限制，会得到类似于稀疏编码的结果。
传统自编码器被用于降维或特征学习。近年来，自编码器与潜变量模型理论的联系将自编码器带到了生成式建模的前沿。自编码器可以被看作是前馈网络的一个特例，并且可以使用完全相同的技术进行训练，通常使用小批量梯度下降法（其中梯度基于反向传播计算） 。不同于一般的前馈网络，自编码器也可以使用再循环（recirculation）训练 (Hinton and McClelland, 1988)，这种学习算法基于比较原始输入的激活和重构输入的激活。
下面介绍stl10
用于非监督学习哒数据集
测试协议
我们建议采用以下标准化测试方案来报告结果：
（1）对未贴标签的进行无监督培训。
（2）使用培训数据中100个示例的10倍（预定义）对标记数据进行监督培训。提供了用于每个褶皱的示例的索引。
（3）报告完整测试集的平均精度。
二进制文件（来自Martin Tutek的python代码）
（1）二进制文件分为数据文件和带后缀的标签文件：train_x.bin、train_y.bin、test_x.bin和test_y.bin。
（2）在每个值中，这些值存储为uint8的压缩数组。图像以列主顺序存储，一次存储一个通道。也就是说（RGB)，前96*96值为红色通道，后96*96值为绿色，最后一个值为蓝色。标签在1到10之间。
（3）未标记的数据集unlabeled.bin的格式相同，但没有“y.bin”文件。 包含一个class_names.txt文件供参考，每行一个类名。 文件fold_indexes.txt包含用于每个训练折叠的示例的（零基）索引。第一行包含第一个折叠、第二个折叠、第二个折叠等的索引。
感谢Martin Tutek让python代码加载/查看stl-10！Python代码
呀，挡不住我发芽！
以下是STL_10的数据内部：
朴实
狮虎：这个torchvision里有stl10 ，就像mnist
吾：那我删了这个
狮虎：不行，不让用了。
下载了插件以后，读取的train_X.bin如上图，还是没看懂，而且觉得很奇怪，也不知道对不对，我决定看看python能不能直接打开.bin并输出。
发现是.tar.gz文件，来看看是怎么解压的解压
tar –xvf file.tar //解压 tar包
tar -xzvf file.tar.gz //解压tar.gz
tar -xjvf file.tar.bz2 //解压 tar.bz2
tar –xZvf file.tar.Z //解压tar.Z
unrar e file.rar //解压rar
unzip file.zip //解压zip
总结
1、*.tar 用 tar –xvf 解压
2、*.gz 用 gzip -d或者gunzip 解压
3、*.tar.gz和*.tgz 用 tar –xzf 解压
4、*.bz2 用 bzip2 -d或者用bunzip2 解压
5、*.tar.bz2用tar –xjf 解压
6、*.Z 用 uncompress 解压
7、*.tar.Z 用tar –xZf 解压
8、*.rar 用 unrar e解压
9、*.zip 用 unzip 解压
解压好了下面开始看代码：
ser = serial.Serial(0) 是打开第一个串口（实例化一个串口）
好复杂，决定放弃，突然想起来mttk这个人已经和stl_10数据集进行了斗争，那么直接跑一下它的代码吧。进行了一些修改。（主要是，把下载数据集注释掉了，因为我已经下载过数据集了，所以把数据的path进行了更改，其他部分没有改动）好啦，就运行好了，人家已经把处理好，分好类的img存储起来， 存储在一个叫做img的文件夹中，具体如下：
第3类为car
随便打开其中一张，如上图所示下面开始手撕代码：
先来看这个函数
狮虎解答：可能是如果直接imread的话，就是（2，0，1），但是这个数据集是数组，所以可能就不太一样。
狮虎给我讲了AAE，我觉得很有道理，要好好学习，学着狮虎一样，积极思考~
读取所有的图片（参数为STL_10数据集的路径，返回值为一个包括所有图片的数组）
此处有了n，也就是样本数量，不再是1（而是5000）
下面来看label
读取label（返回一个数组）该数组的大小为5000：
开始保存吧
保存单张图片
存储下来的格式为.img/+(类别1-10）+第几张
下载数据这部分，在我的代码中，其实是不需要的，因为我的数据已经下载好后，放在服务器里面，并解压好了，直接用就可以了
还有一部分代码是为了获取Python版本号：
python3.7.0
再来看几个新出现的import
import os, sys, tarfile, errno
import os:os 模块在运维工作中是很常用的一个模块。通过os模块调用系统命令。os模块可以跨平台使用。
这是本例子中的应用
import errno:获取python中异常类型的错误列表(Errno)
import tarfile：tarfile模块是Python的标准模块之一，能够方便读取tar归档文件，还可以处理使用gzip和bz2压缩归档文件tar.gz和tar.bz2。
本例中的应用tarfile的语法格式：
tarfile.open(name=None, mode='r', fileobj=None, bufsize=10240, **kwargs)
import sys：系统相关的信息模块 import sys
sys.argv是一个list,包含所有的命令行参数.
sys.stdout sys.stdin sys.stderr 分别表示标准输入输出,错误输出的文件对象.
sys.stdin.readline() 从标准输入读一行 sys.stdout.write("a") 屏幕输出a
sys.exit(exit_code) 退出程序
sys.modules 是一个dictionary，表示系统中所有可用的module
sys.platform 得到运行的操作系统环境
sys.path 是一个list,指明所有查找module，package的路径.
本例中的应用
本例子中的应用
好啦，以上就是关于mttk先生关于STL_10代码的运行和解读那就让我们站在巨人的肩膀上，利用已经处理好的数据，开心滴做研究吧~
网友评论