写给小白的机器学习之决策树算法详解(附实战源码)

机器学习 专栏收录该内容
23 篇文章 2 订阅

这里是实战源码,里面算法参数解释和数据可视化详解

GitHub慢的话看码云

具体ppt也已上传至csdn和GitHub
可以做分类树和回归树

现在是一个多分类任务
在这里插入图片描述

PPT讲解

  • 强壮性是对若有缺失值等其他情况,该模型依然能够对其进行准确预测
  • 可解释性是对其可视化的要求,比如决策树可以画出树模型以及节点的判断依据,而像高维的svm就很难可视化
    在这里插入图片描述
    可分类可回归
    在这里插入图片描述

在这里插入图片描述
最关键的是决策树怎么构造,所以我们要做一种衡量标准,按照这个标准去构造
在这里插入图片描述
在这里插入图片描述
就像物理上的熵一样,对其混乱度的度量,信息熵是对某一信息不确定性的度量
在这里插入图片描述
在这里插入图片描述
l o g 2 X log_2 X log2X 2或π是随意取的,现在计算的熵是在这个系统内四个特征的熵,只要底数相等就行,反正是比较大小,具体多少我们用不到,底数不同只是其最终得到的熵的单位不同,
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

l o g 2 X log_2 X log2X 2是随意取的,现在计算的熵是在这个系统内四个特征的熵,只要底数相等就行,反正是比较大小,具体多少我们用不到
在这里插入图片描述
ID3算法问题是: 以上面数据为例,若每天都为一个编号或者每天都为一个人的名字,这样编号或者名字的熵值为0(因为只有1类是个确定值),信息增益也是最大的,但编号和名字对我们最后的预测并不起任何作用,而且使树的深度很小
信息增益率是信息增益/自身熵值
CART和是另一种计算方法,其原理和ID3差不多
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一般不是特别深的树,可以画出树的结构,然后根据树结构来进行剪枝
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

通过参考别人的课件(朋友给的,具体作者我也不清楚,侵权必删),自己又删改添加了很多内容,自己应该能看懂。

  • 1
    点赞
  • 0
    评论
  • 4
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值