决策树是一种通过树形结构进行分类的人工智能预测模型，如根据图1所示“气象特点与游客是否来游乐场的关系”绘制的图2所示的决策树树形结构：

图 1

图 2

通过了解当天的是否有风、天气、温度和湿度这4个节点参数即可预测当天是否有人来游乐场。不同的节点划分顺序可以绘制不同的决策树，为了选出最优的节点划分顺序，需要采用“信息熵”与“信息增益”指标。

信息熵，又称香农熵，被用来度量信息量的大小，信息熵越大表示信息量越大；

信息增益，表示样本经某节点划分后的信息熵变化大小。我们绘制决策树时应当逐次选择信息增益最大的节点作为当前节点。

对于有n个信息的样本D，记第k个信息发生的概率为𝑝𝑘，信息熵计算公式为E(D)=− ∑^𝑛 𝑝𝑘𝑙𝑜𝑔2(𝑝𝑘)

例如游乐场14个样本中“去”(9个)、“不去”(5个)，则信息熵

若样本按“是否有风”节点划分，“是”(6个，其中3个去，3个不去)信息熵=

“否”(8个，其中6个去，2个不去)信息熵= =0.811；经过此节点划分后的信息增益=原始信息熵−按此节点划分后样本信息熵比例和 。