ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

综合起来-决策树

2026/8/10 19:44:28 拓冰建站 浏览量
综合起来-决策树

我们可以通过信息增益来判断节点上应该用什么特征

接下来我们将探讨如何构建一个多个节点的大型决策树

1 从根节点开始,包括所有的训练样本计算所有可能的信息增益,

然后选择信息增益最高的特征进行分裂,选择了该特征后,所选特征会将信息分成两个子集,创建数的左右分支,并根据样本的特征值,

将训练特征发送到左分支,或者右分支,这使得你可以在根节点进行一个分裂,

之后再左右分支重复分裂的过程,知道满足停止标准,

停止标准,一个节点纯度是100% 熵是0

或者达到数的最大深度

进一步分裂的信息上小于某一个阈值

节点中的样本数量小于某个阈值

完整详细流程

首先在根节点一次计算每个特征的信息增益,决定耳型是最佳的分裂特征

基于此创建了树的左右分支,并将具有尖耳或者软耳的子数据集发送到左右分支

然后我们覆盖右分支只看左分支,有五个样本假设我们的分裂标准是继续分裂,知道节点中的所有内容都是单一类别,即为全是猫或者狗,

我们会查看这个节点是否满足分裂标准,但是他不满足因为这里是猫狗的混合,

然后下一步继续选择一个特征进行分裂,因此我们依次查看每个特征,并计算这些特征的信息增益,就类似根节点那样当做一个新的根节点因此计算分裂胡须,还有脸型的信息增益,耳型的信息增益为0,因为耳型都一样是分裂之后的,所以我们在胡须和脸型中选然后我们基于信息增益选择了脸型,

然后看是否满足停止分裂的标准,这里全是猫因此创建一个叶子节点预测为猫