1、cell tracking的traditional的方法看完（完成）

2、pix2pix的改进（未完成）

3、看LTSM 和RNN（未完成）

4、改进RNN（未完成）

5、改PPT（未完成）

日常笔记：

通过阅读论文，an objective comparision of cell-tracking algorithms，我查阅了ISBI challenge上面的方法，并进一步查看了top3的方法：分别为：KTH-SE,FR-Ro-GE and HD-Hau-GE.

http://celltrackingchallenge.net/participants/

接下来我分别研究这三种方法，目的为达到以下几点：

（1）算法block diagram

（2）如何应用到我们的数据中

important idea: 在pix2pix里加入chip的mask的信息。

查文献思路：cell tracking的tranditional的方法，deeplearning的方法，以及object tracking的tranditional的方法

一、文献阅读Part I

A、研究第一种方法：KTH-SE

https://github.com/klasma/BaxterAlgorithms

运行这个文件：BaxterAlgorithms.m

阅读详细的userguide，发现userguide里的一些参考文献很有用。

一个是这篇毕业论文，是详细介绍算法的：

重点位于文章的第三章。

K. E. G. Magnusson, Segmentation and tracking of cells and particles in time-lapse microscopy , Ph.D. thesis, KTH Royal Institute of Technology, 2016.

另一个是这篇benchmark:

A benchmark for comparison of cell tracking algorithms,” Bioinformatics, vol. 30, no. 11, pp. 1609–1617, 2014.

1、跑一下算法：

先file - open -选择包含很多sequences的dataset文件夹。

再点击：aumomated 进而选择tracking 就可以了。

遇到的问题是：他的segmentation的算法不符合我们的要求，segmented的结果不对。

跑的tracking的结果如何看：打开gui，然后选择mannual，选择tracking correction就可以了。

2、算法介绍：

先对所有图片进行segmentation，然后再进行tracking。

算法介绍在这篇论文里：

K. E. G. Magnusson, Segmentation and tracking of cells and particles in time-lapse microscopy , Ph.D. thesis, KTH Royal Institute of Technology, 2016.

3、应用：

有没有办法自己导入cell segmentation之后的图，然后让程序去跑cell tracking啊

B.研究第二种方法：HD-Hau-GE

网址如下：

http://celltrackingchallenge.net/participants/HD-Hau-GE/#

这种方法其实是改编于他自己的一篇论文：Schiegg M, Hanslovsky P, Kausler BX, Hufnagel L, Hamprecht FA. Conservation tracking. In

Proceedings of the IEEE International Conference on Computer Vision, 2928-2935 (2013).

C、研究第三种方法：

网址如下：http://celltrackingchallenge.net/participants/FR-Ro-GE

基于CNN去做seg，然后基于贪婪算法去做track.

二、文献阅读PART2

谷歌学术搜索：

cell tracking deep learning

文章如下：

这篇不要：Deep Learning Automates the Quantitative Analysis of Individual Cells in Live-Cell Imaging Experiments

Dataset一点也不全哎，回去用学校的dataset去查文章去。

这一篇不错：Instance Segmentation and Tracking with Cosine Embeddings and Recurrent Hourglass Networks

这一篇可以照葫芦画瓢，但是遇到的问题是：里面的一些网络结构需要自己去研究和熟悉。

下午研究清楚这一篇文章吧！

github代码位置：https://github.com/christianpayer/MedicalDataAugmentationTool

三、文献阅读part3

这里是review，evaluation和一些object tracking的网址：

https://github.com/SpyderXu/multi-object-tracking-paper-list

其实我需要tracking和segmentation分开的文章。

还是滚回去看part2的那篇文章吧，我觉得那篇实用一些。

四、代码阅读

重要的代码的位置：

bin\experiments\instance_segmentation\cell_tracking

在bin\experiments\instance_segmentation下有readme的，仔细去看，总结如下：

readme真的写的超级清楚啊，一步一步跟着做下去！

1、Dataset preprocessing

Download the datasets from the [celltracking challenge](http://www.celltrackingchallenge.net/) and extract them. In order to be able to load them with this framework, they need to be preprocessed. Open `main_preprocess.py` and change the variable `dataset_base_folder` to the folder, where you extracted the files from the challenge.

Run `main_preprocess.py`. It should create `.mha` files of the input images and the groundtruth. This program also makes sure, that the IDs from the segmentation and tracking files are consistent throughout the videos.

（1）

我从网站http://celltrackingchallenge.net/2d-datasets/上下载了DIC-C2DH-HeLa这个dataset。

man_track.txt里写了每个细胞的rgb的数值。

标GT的方法是用不同的颜色标注不同的细胞。

图片都是tif格式的。

一共有两个sequence，第一个sequence里有85个frames，第二个sequence里也有85个frames。

（2）

我把这个folder放在和main_preprocess.py相同的文件夹下，然后改main_preprocess.py中的这一行为：dataset_base_folder = 'CHANGE_FOLDER'改成：

dataset_base_folder = 'CHANGE_FOLDER

记得装 pip install simpleITK 和 pip install utils

遇到问题：从util文件夹里导入函数失败。

解决办法：

把util文件夹复制粘贴到当前py文件所在文件夹？不行。

查解决办法的关键词：python的自定义模块导入

https://www.jianshu.com/p/6692b48c7295

我用的是方法二，把utils包放入python安装这些包的目录下。

方法二：将自定义模块打包

将一揽子的模块（.py文件）放在一个文件夹里面，再添加一个__init__.py，这样这个文件夹就成为了一个包。可以将这个包放入python安装目录的../Lib/site-packages/中，这样就可以导入这个包中的模块使用了

例如，创建一个名为pck的文件夹，然后将helloworld.py文件放入，再放一个空的__init__.py文件，这个pck就成为了一个包。将包放入上面所说的路径中。如我的路径是：C:\Program Files (x86)\Python35-32\Lib\site-packages

又遇到问题：No module named 'transformations'

把transformation文件夹继续放到python安装这些包的目录下。

这下子跑起来不报错了。

遇到问题：查看output folder在哪里

按照readme的说法，它应该会产生一个`.mha` files of the input images and the groundtruth.

产生的内容位于当前py文件夹内的celltrackingchallenge文件夹下的trainingdataset文件夹下的DIC-C2DH-HeLa文件夹。

解决办法：

经过断点调试，seg_folders的输出为空。

那一句话为：

seg_folders = glob.glob(dataset_base_folder + 'trainingdataset/*2D*/0?_GT/')

输出为空。

“*”表示匹配任意字符串，“?”匹配任意单个字符，[0-9]与[a-z]表示匹配0-9的单个数字与a-z的单个字符。

原来放进去的文件格式为：

DIC-C2DH-HeLa 》trainingdataset》2D》01GT等等

注意：可能chanllegen dataset也要进行类似处理。

遇到问题2：

output folder的名字和内容都不对。

名字不应该是2D，而应该是DIC-C2DH-HeLa