文献
2023
Genome Biology
Comprehensive assessment of differential ChIP‑seq tools guides optimal algorithm selection
研究背景
ChIP-seq可以用来鉴定蛋白质和DNA的相互作用区域，也可以用来比较不同生物学状态的差异。
有多种工具可以用来对ChIP-seq进行差异分析（DCS），虽然这些工具有的是专门针对ChIP-seq开发的，但是仍有些软件是基于RNA-seq的模型。
在不同的生物学场景中，应用不同的差异分析方法可能对结果产生很大的影响，对下游的分析和应用有很大的干扰。
因此，根据实验特征对DCS分析工具的指导性选择有望显著改善ChIP-seq数据分析。
本文亮点
作者全面评估了33种对ChIP-seq进行差异分析的工具。
工具性能是通过精确度-召回率曲线进行评估的，测试工具的准确性取决于峰形和生物调控情景。通过结合精确度-召回率曲线下的面积（AUPRC）、稳定性指标和计算成本，得出了DCS分数，使研究人员能够选择适用于任何感兴趣蛋白质和生物情景的最佳DCS分析工具。此外，提出的决策树为ChIP-seq数据集的分析提供了建议，对于这些实验，无法明确假设基因组结合模式。因此，测试结果将改进基于蛋白质-DNA相互作用分子机制的识别。
01 模拟DCS工具的参考数据和应用场景
Fig 1a
ChIP-seq可以用来检测转录因子和组蛋白修饰。转录因子的结合通常是几百bp甚至更少，组蛋白的结合分成两种，一种是窄峰，如H3K27ac、H3K9ac和H3K4me3，另一种是宽峰，如H3K27me3、H3K36me3和H3K79me2。
作者模拟了两个生物学场景。第一种场景是假设相同比例的基因组区域在两个样本之间表现出增加和减少的信号(以50:50的比例)，而剩余峰的强度不变（Fig 1a上），这种情况代表了细胞或组织之间发育或生理状态的比较。第二种场景是假设一个样本中ChIP-seq峰值信号整体减少(以100:0的比例)，如基因敲除或靶蛋白的药理抑制时经常看到的那样（Fig 1a下）。
Fig 1b
针对以上6（2*3）种情况利用DCSsim生成了模拟数据，在相同区间上利用DCSsub提取的真实的ChIP-seq数据（Fig 1b）.
Fig 1d
进行差异分析的软件可以分成两组，一组不需要提前call peak，另一组需要提前call peak，作者使用MACS2、SICER2和JAMM软件提前call peak。
然后使用31个DCS工具以及2个自定义方法处理数据（Fig 1d）。为了评估DCS工具的结果，作者计算了每个工具和参数设置的精确度-召回率曲线，使用AUPRC作为主要的性能度量。结合不同工具不同参数组合，共得到了23,220个AUPRC值。
02 DCS工具的性能取决于峰值形状和应用场景
Fig 2a
首先，作者比较了模拟数据和真实数据应用不同工具的AUPRC值，发现输入模拟数据时，大多数工具的性能略好，峰明显，信噪比高（Fig 2a），在GenoGAM、csaw、NarrowPeaks和uniquepeaks工具中尤为明显。
Fig 2b
Fig 1c
整体而言，与具有内部峰值调用功能的工具相比，峰值依赖工具针对模拟数据和真实数据的性能差异更大（Fig 2b）。然而，我们发现真实数据的峰值形状、信噪比指标和背景均匀性在模拟数据中得到了保留（Fig 1c）。因此，我们决定将模拟数据和真实数据结合起来，为每个工具和所有后续评估步骤的参数设置获得一个性能度量。
Fig 3a
使用这种方法，作者发现MACS2、MEDIPS和PePr表现出与峰形或应用场景无关的高性能（Fig 3a）。
Fig S3b
然而, 在特定应用场景下，另外几个软件的参数组合有更好的性能，如在50:50调节场景下，EpiCenter在识别宽峰方面优于MACS2；在50:50调节场景下，edgeR在寻找差异TF峰值方面优于MACS2(Fig S3b)。
Fig 3b
为了更详细地了解DCS分析工具在特定条件下的性能，我们首先关注它们根据峰值形状计算的性能。在所有AUPRC值的密度图中突出显示每个工具的最佳参数设置，除了少数异常值外，在50:50和100:0的情况下，TFs和窄峰的AUPRC值之间存在线性关系(Fig 3b，左、中)。相比之下，大量工具在50:50的应用场景中对宽峰的计算性能更好(Fig 3b，右)。
Fig 3c
DiffBind、MACS2、edgeR和DESeq2在所有条件下都较优（Fig 3c），HOMERpd和DiffBind都是通过MACS2或SICER2进行峰值调用的工具，无论峰值形状如何，它们在100:0场景下都产生了非常好的结果，MEDIPS对窄峰分析表现良好。
Fig 4a
进一步作者比较了软件预测峰和实际峰的偏差，并计算了假阳性率和假阴性率(Fig 4a)。由于依赖峰值的工具只能处理已知峰值区域，因此一些组合不能产生有意义的结果，例如，在使用SICER2调用峰值之后，使用edgeR无法准确预测转录因子的差异峰值。
Fig 4b
假阳性率在所有情况下都低于0.2，大多数组蛋白修饰区域甚至更低，而假阴性率在大多数样本中都低于假阳性率 (Fig 4b)，这是因为染色体中相当大的一部分缺乏ChIP-seq信号。峰形越宽，假阴性率越高。对于宽峰或窄峰的组蛋白修饰，太短的预测比例增加，而对于TF峰值，太长或太短的预测比例是平衡的。
Fig 4c
预测的不准确性是不对称分布的，这取决于DCS工具和峰值调用者 (Fig 4c)。
03 AUPRC与信噪比的关系
Fig 5a
FRiP (fraction of reads in peaks),表示被调用峰内的映射读数与样本中所有可用读数的比率。FRiP值越高，信噪比越高，结果也越可靠。为了测试使用的评估方法与背景噪声的关系，作者创建了转录因子、窄峰组蛋白修饰和宽峰组蛋白修饰的数据集，其噪声分别是原始测试集的一半、两倍和三倍。
降低背景噪声会导致大多数工具的性能提升（Fig 5a）。然而也有一些例外，比如HOMERPD的AUPRC基本上不受背景噪声水平的影响。在分析窄峰时，Normr、Eicenter和DiffBind显示出与低噪声相关的较低AUPRC，而在转录因子峰值分析中，MAnorm2和QChIPat的中位数AUPRC与噪声水平之间没有观察到一致的相关模式。
Fig 5b-c
通过模拟我们能够精确地控制全局信噪比，但在真实数据集中，背景噪声往往是不均匀分布的，因此作者又利用了部分真实数据进行评估。正如预期的那样，对于转录因子数据集，大多数工具的AUPRC随着FRiP的增加而增加（Fig 5b），唯一的例外是MAnorm2，对于FRIP最高的数据集，AUPRC的中位数降低了。
尽管在窄峰组蛋白修饰数据中FRIP的差异大于在转录因子数据集的差异，但是没有观察到AUPRC值与FRiP的相关性（Fig 5b, c），对于宽峰的组蛋白修饰数据，我们注意到具有较高FRiP的数据集AUPRC稳定甚至降低（Fig 5b, c）。这些测试结果表明，增加FRiP并不总是与这些工具的性能正相关。
04 染色质特征对DCS工具性能的影响
Fig 6
为了评估不同染色质特征对工具性能的影响，作者模拟了小鼠最短染色体 (Chr 19)、最长染色体 (Chr 1)、以及三种不同CG含量染色体的数据用于测试。评估显示AUPRC相对稳定，表明DCS工具的性能在很大程度上不受不同染色体参数的影响 (Fig 6)。
05 DCS工具的计算资源需求
Fig 7
作者还评估了DCS工具的运行时间和内存需求。虽然大多数工具在几分钟内完成了对初始小测试数据集的分析，但有三个工具需要超过1小时的处理时间（Fig 7a）。大多数工具需要100 MB到2 GB的内存来处理测试数据（Fig 7b），只有MultiGPS、GenGAM和MMDiff2需要的内存明显更多，从17 GB到34 GB不等。
另外，与组蛋白修饰数据相比，大多数工具在处理转录因子数据时需要更少的内存，并且完成得更快，因为后者包含2-2.4倍的reads.
06 DCS工具的性能概述突出了各个工具的优势和劣势
Fig 8a
为了全面了解各个DCS工具的性能，突出了每个工具各个场景组合的最顶级AUPRC（Fig 8a），AUPRC值从高到低排序前10名的工具是DiffBind、bdgdiff/MACS2、MEDIPS、MAnorm2、edgeR、ChIPComp、DESeq2、DIME、HOMERpd和HMCan.
MMDiff2、GenoGAM和DBChIP对转录因子数据性能更优，ChIPDiff和QChIPat对组蛋白数据更优。
所有测试工具的FDR值在0.026-0.761之间，SICER2、RSEG、GenoGAM、ChIPnorm、csaw、uniquepeaks和NarrowPeaks的FDR值大于0.5。
FOR值在0.009-0.029之间，RSEG的最大值为0.078，是唯一的异常值。
07 根据峰值形状和应用场景选择最佳DCS工具的指南
Fig 8b-c
AUPRC表征了测试工具的精读，但在实际应用中还需要考虑稳定性指标、运行时间和内存使用情况等其他指标，因此需要引入一个加权分数以结合上述所有指标。假设在DCS工具的实际应用中，精度和召回率是最重要的因素，那么DCS评分会优先考虑AUPRC，而不是运行时和内存消耗。
作者利用结果值来指导分析人员对DCS工具的选择和设置，该工具是为两个决策树中调查的数据类型量身定制的。第一棵树是针对不同峰值形状和应用场景的前五种DCS工具设计的(Fig 8b)，第二棵树是用于分析峰值形状或调控关系未知的ChIP-seq数据集的前五种DCS工具(Fig 8c)。
总结
这篇文章为选择适合ChIP-seq数据的DCS分析软件提供了全面的指导。提出的建议涵盖了最普遍的峰值形状和最相关的生物学情景。
本文使用 文章同步助手 同步
网友评论