2018-01-06

keywords: CNTK C# 神经网络

CNTK是微软搞的开源神经网络，因为其提供C#接口，并且自称速度最快，所以决定装一个用用。

1、CNTK安装

参见官方文档，很详细：Setup CNTK on your machine

主要有两步：

1）下载CNTK二进制版，分为单CPU版和带GPU版，我的笔记本不支持GPU，所以下的是单CPU版，CNTK for Windows v.2.3 CPU only ，下载后解压即可。

2）运行Install.bat

cd cntk\Scripts\install\windows

install.bat

脚本自动完成相关代码的安装，包括pyphon35、OpenCv、qt等很多东东。安装只需两步，下载&install，一切似乎很美好，但是，先别高兴太早，坑来了。。。

也不知道是我的网络问题还是美帝搞破坏，install的时候总是会异常终止。咋办呢，只有两个字，坚持啊兄弟！再次运行install，再三次运行install，再八次运行install。。。终于，OK了。

install还是很聪明的，不会每次从头安装，而是从上次中断的地方开始安装。install完成时是过去了半天、一天还是一年呢，不记得了，感觉一切好遥远。

这里还要提一句，使用cntk pyphon的兄弟，每次都要运行scripts目录下的cntkpy35.bat脚本，所以不妨将scripts目录放在环境变量path中。

另外，将cntk运行文件的目录也加在path中，方便以后使用。

2、使用C# API

CNTK的C# API HelloWorld程序是名叫TrainingCSharp的东东，也不知道是个干啥的，我本地的目录是C:\cntk23\Examples\TrainingCSharp，这次的目的就是让这货动起来。

编译

话不多说，直接运行Visual Studio，加载解决方案，编译，会出现很多错，主要是引用出了问题，没关系，重新生成项目即可。如果还有问题，那可能是你的VS没有装NuGit。

准备训练文件

F5运行，瞪，蹦出来一个错误

Input file '../../Tests/EndToEndTests/Image/Data\Train_cntk_text.txt' is not open.

还没有训练文件啊，赶快搞一个吧，从哪儿搞呢，微软说，从这儿搞 CNTK C#/.NET API training examples，那就搞吧，咋搞呢，意思就是说，在目录Examples\Image\DataSets\CIFAR-10下面，运行这句话

python install_cifar10.py

又是个坑，这句话运行完了就不动了，下载文件总该有个进度条吧，界面真不友好，一个字，等吧，这可好，等了快一天了就是不见动静，终于忍无可忍，按了一个Ctrl Z，奇迹出现了，下载完成，正在生成Txt文件，绳啊，这是下载程序有bug啊......也许是后门呢。

在CNTK目录下，新建目录Tests2\EndToEndTests\Image\Data，放入文件Train_cntk_text.txt；为什么是在CNTK目录下呢，因为项目生成的执行程序也在CNTK目录下的x64目录中。

修改数组维度

F5继续，瞪，又蹦出来一个异常：

System.ApplicationException:“Reached the maximum number of allowed errors while reading the input file (../../Tests/EndToEndTests/Image/Data\Train_cntk_text.txt).

想了半天没想明白，既然是跟Train_cntk_text.txt文件有关系，那就查吧，这个文件是由cifar10生成的，这是下载页面The CIFAR-10 dataset，看这句话：

The CIFAR-10 dataset consists of 60000 32x32 colour images in 10 classes, with 6000 images per class. There are 50000 training images and 10000 test images. 

也就是说，图片是32*32的彩色图片，再看程序，MNISTClassifier.TrainAndEvaluate中，是这两句

int[] imageDim = useConvolution ? new int[] { 28, 28, 1 } : new int[] { 784 };

int imageSize = 28 * 28;

改为（32*32  3通道）

int[] imageDim = useConvolution ? new int[] { 32, 32, 3 } : new int[] { 32 * 32 * 3 };

 int imageSize = 32 * 32 * 3;

F5继续，瞪，又是个异常

System.ApplicationException:“GEMM convolution engine does not support this convolution configuration. It is possible to make GEMM engine work with this configuration by defining input/output/kernel using tensors of higher(+1) dimension. Geometry: Input: 16 x 16 x 12, Output: 16 x 16 x 72, Kernel: 3 x 3 x 4, Map: 1 x 1 x 24, Stride: 1 x 1 x 4, Sharing: (1, 1, 1), AutoPad: (1, 1, 1), LowerPad: 0 x 0 x 0, UpperPad: 0 x 0 x 0[CALL STACK] > 

前面改的就感觉没完，果然，还需改下面，MNISTClassifier.CreateConvolutionalNeuralNetwork中

// 28x28x1 -> 14x14x4

int kernelWidth1 = 3, kernelHeight1 = 3, numInputChannels1 = 1, outFeatureMapCount1 = 4;

改为（因为我们是彩色三通道）

// 28x28x3 -> 14x14x12

 int kernelWidth1 = 3, kernelHeight1 = 3, numInputChannels1 = 3, outFeatureMapCount1 = 4 * 3;

还有这句，也要改

//// 14x14x4 -> 7x7x8

//int kernelWidth2 = 3, kernelHeight2 = 3, numInputChannels2 = outFeatureMapCount1, outFeatureMapCount2 = 8;

   // 14x14x12 -> 7x7x24

 int kernelWidth2 = 3, kernelHeight2 = 3, numInputChannels2 = outFeatureMapCount1, outFeatureMapCount2 = 8 * 3;

放弃LSTM

F5继续，瞪呢？好久没有出现了，程序猿的潜意识告诉我，不可能！果然，瞪又来了，

Input file '../../Tests/EndToEndTests/Text/SequenceClassification/Data\Train.ctf' is not open.,

ctf文件是啥东东，查，原来跟Train_cntk_text.txt是一样的，好吧，建个目录Tests\EndToEndTests\Text\SequenceClassification\Data，加入Train.ctf文件，再次运行，

瞪，果然，

WARNING: Empty input row at offset 10759 in the input file (../../Tests/EndToEndTests/Text/SequenceClassification/Data\Train.ctf).

WARNING: Could not read a row (# 1) while loading sequence (id = 0) at offset 10759 in the input file (../../Tests/EndToEndTests/Text/SequenceClassification/Data\Train.ctf).

  Message=Reached the maximum number of allowed errors while reading the input file (../../Tests/EndToEndTests/Text/SequenceClassification/Data\Train.ctf).

还是训练数据数组维度的问题，LSTMSequenceClassifier中进行如下修改

//const int inputDim = 2000;

            //const int cellDim = 25;

            //const int hiddenDim = 25;

            //const int embeddingDim = 50;

            //const int numOutputClasses = 5;

            const int inputDim = 32 * 32;

            const int cellDim = 3;

            const int hiddenDim = 25;

            const int embeddingDim = 50;

            const int numOutputClasses = 10;

还是不行，终于晋楚杀着，直接在program.c中注释掉了这一句

LSTMSequenceClassifier.Train(device);

这下好了，终于没人闹心了，哈哈。

回顾

安装了CNTK，安装了cifar10样本数据，用C#跑通了逻辑回归（LogisticRegression）、multilayer perceptron （MLP）、 convolutional neural network（CNN），没有跑通 LSTM（长短记忆模型），虽然跑通了，但还不知道里面都是个啥，需要一个一个再分析实践，留到下节了。