Abstract
1.本文研究深度学习库中bug的一些特性；
这些深度学习库包括 Caffe, Keras, Tensorflow, Theano, Torch
2.本文的数据来源：
- 2716 high-quality posts from Stack Overflow
- 500 bug fix commits from Github
都来自带与上述库相关的post 和 commits中
3.本文研究的bug特征：
- bug的种类
- 引发bug的根本原因
- bug的影响
- 深度学习过程中容易引发bug的阶段
- buggy software中的antipattern
在软件工程中，一个反面模式（anti-pattern或antipattern）指的是在实践中明显出现但又低效或是有待优化的设计模式，是用来解决问题的带有共同性的不良方法。
Introduction
1.关于深度学习库的bug一般分为两类：
- DL library自身的错误
- 使用DL library时的错误
本文聚焦的是使用时遇到的错误
2.在深度学习中，每个库的目的是不一样的；
- Tensorflow : low-level, highly configurable facilities
- Keras: aims to provide high-level abstractions hiding the low-level details
- Theano and Torch : focus on easing the use of GPU computing
3.数据的意义
- Stack Overflow: 开发者在使用DL库时遇到的问题
- Github: 开源软件中bug被发现和修复的情况
- 本文的RQ
- RQ1: (Bug Type) What type of bugs are more frequent?
- RQ2: (Root cause) What are the root causes of bugs?
- RQ3: (Bug Impact) What are the frequent impacts of bugs?
- RQ4: (Bug prone stages) Which deep learning pipeline stages are more vulnerable to bugs?
- RQ5: (Commonality) Do the bugs follow a common pattern?
- RQ6: (Bug evolution) How did the bug pattern change over time?
Methodology
Data collection
高质量post的标准：difference between the number of its upvotes and its downvotes, were greater than 5
需要包含code
Classification
将很多传统软件工程的概念迁移到的AI testing中，赋予了比较新的意义。
本段介绍了如何分类bug的种类和引起bug的原因。
深度学习的seven stage pipeline: The stages are data collection, data preparation, choice of model, training, evaluation, hyper parameter tuning and prediction.
Labeling the bugs
两个作者的标注需要做一致性检验
使用 Cohen's Kappa Coefficient作一致性检验
一开始很低，再经过培训后，一致性变高
Cohen's Kappa Coefficient
在做数据分析时，我们经常会面临一致性检验问题，即判断不同的模型或者分析方法在预测结果上是否具有一致性、模型的结果与实际结果是否具有一致性等。另外，一致性检验在临床实验中也有着广泛的应用。对于两个或多个医务工作者对同一病人给出的诊断结论进行一致性检验，英文叫 interrater reliability; 对同一医务工作者多次诊断结论的一致性检验，英文叫 intrarater reliability。
Bug Types for DL
1.API bug
The prime causes for triggering of deep learning API bugs can be because of the change of API definition with different versions, lack of inter-API compatibility and sometimes wrong or confused documentation.
接口版本变化，缺乏兼容性，文档模糊的问题
2.Coding bug
编程的语法错误，通常引发错误结果和run time error
3.Data bug
输入数据不规范或者清洗不干净引发，在data输入模型之前就会发生；
4.Structure bug
绝大多数的深度学习错误是由于对深度学习模型的结构定义不正确而导致的。 这些包括深度学习模型的不同层之间的size不匹配，训练和测试数据集之间存在异常，在实现特定功能时使用不正确的数据结构等。
-
Control and Sequence bug
在许多情况下，由于错误的if-else或loop引发，模型无法按预期执行。
-
Data Flow bug
如果在输入到深度学习模型后由于输入数据的类型或形状不匹配而导致发生错误，则将其称为数据流错误。
-
Initialization Bug
在深度学习中，Initialization Bug表示参数或函数在使用之前未正确初始化。
-
Logic Bug
通常由模型结构有误导致，这些错误通常是在代码中没有适当保护条件的情况下生成的，或者是试图实现在深度学习模型的给定结构中无法实现的功能。
-
Processing Bug
每层的数据类型需要遵循它们之间的Contracts。 由于违反这些Contracts或错误选择算法，会发生处理错误。
5.NMSB
发生在模型外的错误。与SB类似，但是发生在modeling之外的部分。
- Control and Sequence bug
- Initialization Bug
- Logic Bug
- Processing Bug
Root causes for bugs
-
Absence of inter API compatibility : 库之间不兼容。eg.无法在keras上直接使用Numpy函数。
-
Absence of type checking：Type 不匹配，尤其是在调用API时容易出现。
-
API Change. API版本改变；
-
API Misuse. 错误使用了某个API
-
Confusion with Computation Model： 弄错模型的阶段
-
Incorrect Model Parameter or Structure (IPS) ： 构建模型的错误，例如结构错误或者参数错误
-
Others. 与模型无关的一些错误
-
Structure Inefficiency (SI). 模型结构的问题会导致模型表现差。SI引起的是bad performance，IPS
引起的是crash
-
Unaligned Tensor (UT)：Tensor 向量维度出现问题
-
Wrong Documentation. 文档错误引发的结果
Effects of bugs
- Bad performance:训练效果不好
- Crash ：模型崩溃
- Data Corruption：数据在使用过程中崩溃
- Hang：长时间训练但是精度并未得到提升
- Incorrect Functionality：功能性错误
- Memory out of bound：内存资源不够用
FREQUENT BUG TYPES
Data bugs
Statistics of Bug Types in Stack Overflow and Github
F1: Data Bugs appear more than 26% of the times.
Data bugs常见于预处理的阶段
Structural Logic Bugs
F2: Caffe has 43% Structural Logic Bugs.
大部分Caffe的bug都是在构建模型结构的时候发生的
API Bugs
F3: API Bugs：Torch, Keras, Tensorflflow have 16%, 11% and 11% API bugs respectively.
这个bug具有一定的广泛性。Keras and Tensorflow 相比更严重。
Bugs in Github
F4: All the bug types have a similar pattern in Github and Stack Overflow for all the libraries.
对于每一种类型的bug，我们把其在github和stackoverflflow上对于五个后端的分布进行T检验，对于NMSLB以外的所有错误类型，P值均大于5％，这表明它们具有相似的分布。
ROOT CAUSE
Statistics of the Root Causes of Bugs
IPS
后果最严重
Finding 5: IPS is the most malicious root cause resulting in average 24% of the bugs across the libraries.
SI
Finding 6: Keras, Caffe have 25% and 37% bugs that are resulted from SI.
SI问题通常影响的是QoS和非功能性需求，对服务质量有很大的影响。
UT
Finding 7: Torch has 28% of the bugs due to UT.
Absence of Type checking
Finding 8: Theano has 30% of the bugs due to the absence of type checking.
API Change
Finding 9: Tensorflow and Keras have 9% and 7% bugs due to API change.
Root Causes in Github data
Finding 10: Except API Misuse all other root causes have similar patterns in both Github and Stack Overflow root causes of bugs.
Relation of Root Cause with Bug Type
Finding 11: SI contributes 3% - 52% and IPS contirbutes 24% - 62% of the bugs related to model.
IMPACTS FROM BUGS
Effects of Bugs in Stack Overflow and Github
Crash
最重大的影响
Finding 12: In average more than 66% of the bugs cause crash of the programs.
Bad Performance
Finding 13: In Caffe, Keras, Tensorflow, Theano, Torch 31%, 16%, 8%, 11%, and 8% bugs caused bad performance respectively.
Incorrect Functionality
Finding 14: 12% of the bugs in average in the libraries cause Incorrect Functionality .
Effects of Bugs in Github
Finding 15: For all the libraries the P value for Stack Overflow and Github bug effects reject the null hypothesis to confirm that the bugs have similar effects from Stack Overflow as well as Github bugs.
对于所有库，Stack Overflow和Github Bug效果的P值都将拒绝原假设，以确认这些Bug与Stack Overflow和Github Bug具有相似的效果。
DIFFICULT DEEP LEARNING STAGES
Data Preparation
Finding 16: 32% of the bugs are in the data preparation stage of the deep learning pipeline.
占比最大
Training stage
Finding 17: 27% of the bugs are seen during the training stage.
很多IPS 和 SI 错误都来自于这一阶段
Choice of model
Finding 18: Choice of model stage shows 23% of the bugs.
IPS，SI , UT都来自这一阶段
COMMONALITY OF BUG
Correlation of Bug Types among the libraries
这些library的强相关系数接近1。 对于type of bug，Torch与其他库的相关性非常弱。
研究方式：随机研究了每个library中含有代码的30个posts，寻找可能导致这种错误类型强烈相关的antipattern。
Distribution of different antipatterns
Finding 19: Tensorflow and Caffe have a similar distribution of antipatterns while Torch has different distributions of antipatterns.
Tensorflow and Caffe 的分布类似， Torch与之截然不同。
在Tensorflow和Caffe中，30％+的antipatterns是Input Kludge。 另一方面，在“Torch”中，有40％的错误是由于“Cut-and-Paste Programming”导致的。 这可以分析correlation 之间的关系。
anti pattern的类型：
- Continuous Obsolescence：API弃用
- Cut-and-Paste Programming：复制粘贴编程
- Dead Code：无效代码
- Golden Hammer：开发人员和管理人员对现有的方法感到满意，不愿意学习和应用更适合的方法
- Input Kludge：意外输入
- Mushroom Management：一些情况下，为了完成他们的工作，开发人员必须做出假设，这可能导致伪分析，也就是说，在没有最终用户参与的情况下进行面向对象的分析。一些蘑菇管理项目完全消除了分析，并直接从高层需求进行设计和编码。
- Spaghetti Code：软件结构也不够清晰。
EVOLUTION OF BUGS
Positive growth of Structural Logic Bugs
Finding 20: In Keras, Caffe, Tensorflow Structural logic bugs are showing increasing trend.
在Keras, Caffe, Tensorflow中， Structural logic bugs 有增长的趋势。
Decreasing trend of Data Bugs
Finding 21: Data Bugs slowly decreased since 2015 except Torch.
除了Torch之外，Data bugs都在减少
感受
1.这篇文章重新定义了：bug type 和 root cause, 应用到了DL领域；总结了现有的bug impact;
2.深度学习的seven stage pipeline: The stages are data collection, data preparation, choice of model, training, evaluation, hyper parameter tuning and prediction.
可以作为分析条件
3.可以看出 Tensorflow and Caffe 的bug分布是类似的，如果在今后的实验中，Tensorflow and Caffe 和 Torch 可能会出现差异的话，这里的结论可以用来解释；
4.这种类型的分析可以迁移到特定领域 （自动驾驶，NLP等）
5.IPS SI 检测 修复 （某种特定类型的bug）
网友评论