决策树系列

决策树系列

作者: 邓沉香 | 来源:发表于2019-07-14 08:49 被阅读0次

决策树：

特征选择准则

信息增益（ID3）
信息增益比（C4.5）
GINI指数（用于CART中分类树生成）

剪枝

信息增益（ID3）：
$g(D,A)=H(D)-H(D|A)$
其中 $g(D,A)$ 为所计算的增益值，其中参数 $D$ 为整个训练样本集合， $A$ 为样本的某一特征。
$H(D)=-\displaystyle \sum^{K}_{k=1}{\frac{|C_k|}{|D|}}\log(\frac{|C_k|}{|D|})$
其中 $C_k$ 表示样本集合 $D$ 被分成 $k$ 类之后每一类的样本集合， $|C_k|$ 则表示该集合的样本个数。 $|D|$ 同理。
$H(D|A)=\displaystyle \sum^{n}_{i=1}{\frac{|D_i|}{|D|}}H(D_i)=-\displaystyle \sum^{n}_{i=1}{\frac{|D_i|}{|D|}}\displaystyle \sum^{K}_{k=1}{\frac{|D_{ik}|}{|D_i|}}\log(\frac{|D_{ik}|}{|D_i|})$

相关文章

网友评论

机器学习基础系列

本文标题：决策树系列

本文链接：https://www.haomeiwen.com/subject/gpxbkctx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

机器学习基础系列

热点阅读

机器学习基础系列

决策树系列

关于我们|服务条款|联系我们|决策树系列|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！