机器学习整理的一些概念

时间:2017-03-27 12:36 来源:网管之家整理 字体:[ ] 评论:
机器学习整理的一些概念:监管学习:所谓监管学习就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。

是信息不确定性的一个测度,熵越大则表示信息的不确定程度越高

举个例子:

预测明天的天气,如果能100%确定明天一定是晴天,那么熵就是-1*log1

预测明天的天气,如果能100%确定明天一定是晴天,那么熵就是-1*log1=0,也就是说不确定性为零。

预测明天的天气,如果说明天有50%概率晴天,50%概率下雨,那么熵就是2*(-0.5)log0.5=2*(-0.5)(-1)=1,可以说不确定性为1。

预测明天的天气,如果明天有25%概率晴天,25%概率下雨, 25%概率阴天, 25%概率下雪,那么熵就是4*(-0.25)(log0.25)=2,

也就是说随着不确定程度的增加,熵也在不断地增大

方差

设有,1、2、3,三个数,平均数为2,方差为,

[(1-2)^2 (2-2)^2 (3-2)^2]/3 = 2/3

均方差

均方差也叫标准差,就是方差开根号

也就是说:均方差的平方=方差

期望

期望是基于概率基础的,是对未知的预期

期望就是在多次实验之后,你预期的结果。而不是你下一次,或者某次实验的结果。

顶一下(0) 踩一下(0)
Top_arrow