对于只有一个应变量X的数据及构造一个最简单的线性回归模型,需要几个系数
假设随机变量X的概率分布是:
,
那么随机变量X的熵定义为:
(通常取以2为底(bit)或者是以e为底(nat))
如果一件事一定不会发生,p=0,定义;同时,当一个事一定会发生的时候,p=1,,这就说明了为什么一件事确定性越大越大,熵就越小。