机器学习的基本概念和相关术语逐梦er的博客-

一.什么是机器学习

人工智能标准化白皮书(2018版)

• 机器学习（Machine Learning）是一门涉及统计学、系统辨识、逼近理论、神经网络、优化理论、计算机科学、脑科学等诸多领域的交叉学科，研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能，是人工智能技术的核心。
  基于数据的机器学习是现代智能技术中的重要方法之一，研究从观测数据（样本）出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测。

Andrew Ng (吴恩达)

• Machine Learning is the science of getting computers to act without being explicitly programmed.
  机器学习是一门让计算机无需显式编程即可运行的科学。

Microsoft(微软公司)

• Machine learning is a technique of data science thathelps computers learn from existing data in order toforecast future behaviors, outcomes, and trends.
  机器学习是一种数据科学技术，它帮助计算机从现有数据中学习，从而预测未来的行为、结果和趋势。

二.机器学习的相关术语

样本(sample)、示例(instance)：

• 所研究对象的一个个体。相当于统计学中的实例(example，instance)

特征(feature)、属性(attribute):

• 反映事件或对象在某方面的表现或性质的事项，如大小，颜色

属性值(attribute value):

• 属性上的取值，例如“青绿”“乌黑”
• 属性张成的空间称为 “属性空间”(attribute space)、“ 样本空间”(sample space)或“输入空间”.

特征空间(feature space)：

• 分别以每个特征作为一个坐标轴，所有特征所在坐标轴张成一个用于描述不同样本的空间，称为特征空间
• 在该空间中，每个具体样本就对应空间的一个点，在这个意义下，也称样本为样本点。
• 每个样本点对应特征空间的一个向量，称为 “特征向量”
• 特征的数目即为特征空间的维数。

样本集 (sample set)、数据集(data set)：

• 若干样本构成的集合；该集合的每个元素就是一个样本

测试样本”(testing sample)：

• 学得模型后,使用该模型进行预测的过程称为“ 测试”(testing), 被预测的样本称为“测试样本”.

标记(label)：

• 有前面的样本数据显然是不够的，要建立这样的关于“预测”(prediction) 的模型,我们需获得训练样本的“结果”信息，例如“((色泽=青绿;根蒂=蜷缩;敲声= =浊响),好瓜)”.这里关于示例结果的信息，例如“好瓜”，称为“标记”(label); 拥有了标记信息的示例，则称为“样例”(example).

分类(classification):

• 若我们欲预测的是离散值,例如“好瓜”“坏瓜”，此类学习任务称为”分类”

回归(regression)

• 若欲预测的是连续值,例如西瓜成熟度0.95、0.37,类学习任务称为“回归”.
• 对只涉及两个类别的称为“二分类’(binary classification)’

聚类”(clustering)

• 即将训练集中的样本分成若干组,每组称为一个 “簇”(cluster);

根据训练数据是否拥有标记信息，学习任务可大致划分为两大类:“ 监督学习”(supervised learning) 和 “无监督学习”(unsupervised learning), 分类和回归是前者的代表,而聚类则是后者的代表.

三.机器学习的典型任务

典型的学习任务包括：

• 分类(classification)
• 回归(regression)
• 聚类(clustering)
• 排序(ranking)
• 密度估计(density estimation)
• 特征降维(dimensionality reduction)
• … …

3.1分类(classification)
基于已知类别标签的样本构成的训练集，学习预测模型；最终预测模型，对新的观测样本，预测相应的输出；预测结果为事先指定的两个或多个类别中的某一个，或预测结果来自数目有限的离散值之一。

两类别 vs.多类别
类别数C=2， 两类别分类(binary classification)
类别数C>2, 多类别分类(multiclass classification)

3.2回归(regression)
回归分析基于已知答案的样本构成的训练集，估计自变量与因变量之间关系的统计过程，进而基于该关系对新的观测产生的输出进行预测，预测输出为连续的实数值

3.3 聚类(clustering)

对给定的数据集进行划分，得到若干“簇”；使得“簇内”样本之间较“簇间”样本之间更为相似。通过聚类得到的可能各簇对应一些潜在的概念结构，聚类是自动为给定的样本赋予标记的过程。

聚类举例

3.4特征降维

将初始的数据高维表示转化为关于样本的低维表示，借助由高维输入空间向低维空间的映射，来简化输入。

– 特征提取，如PCA
–高维数据的低维可视化

四.假设与假设空间

假设(hypothesis)、假设空间(hypothesis space)：

• 每一个具体的模型就是一个“假设(hypothesis)”
• 模型的学习过程就是一个在所有假设构成的假设空间进行搜索的过程，搜索的目标就是找到与训练集“匹配(fit)”的假设。

版本空间(version space)

• 基于有限规模的训练样本集进行假设的匹配搜索，会存在多个假设与训练集一致的情况，称这些假设组成的集合为“版本空间”

五.假设的选择原则

主要准则：
“奥克姆剃刀(Occam’s Razor)”准则

• 如无必要，勿增实体
• 若多个假设与经验观测一致，则选择最简单的那个

其它原则
“多释原则”:

• 保留与经验观察一致的所有假设
  (与集成学习的思想一致)

六.机器学习的三要素

机器学习方法由模型、策略、算法构成，可以简单的表示为：方法=模型+策略+算法

B.期望风险(expected risk)

模型的输入X与输出Y构成输入空间X与输出空间Y的联合随机变量(X,Y)，遵循联合分布P(X, Y)

• 损失函数L(Y, f(X))是关于联合随机变量(X, Y)的函数
• 期望风险R。就是损失函数L(Y,f(X ))的数学期望。

机器学习的目标就在于选择具有最小期望风险的模型

C经验风险(empirical risk)或经验损失(empirical los)

当容量 趋于无穷时，经验风险R趋于期望风险R

实际问题中，训练样本数目N非常有限，需对经验风险矫正

D.经验风险最小化(empirical risk minimization,ERM)

在假设空间、损失函数形式、以及训练样本集确定的前提下，经验风险最小化”策略认为:假设空间F中，使经验风险R最小的模型就是最优模型

N足够大时，采用”经验风险最小化”策略可获得较好学习效果；
N很小时，该策略的学习效果未必好，易产生”过拟合(overfitting)”

E.结构风险最小化(structural risk minimization,SRM)
为防止模型过拟合，提出结构风险最小化”策略

”结构风险最小化”策略认为：假设空间F中，使结构风险R(srm)最小的模型，就是最优模型

完整的机器学方法步骤示例：