酷应用

机器学习中的线性回归，你理解多少？

百家作者：AI100 2020-02-20 11:38:35

作者丨algorithmia

编译 | 武明利，责编丨Carol

来源 | 大数据与人工智能（ID: ai-big-data）

机器学习中的线性回归是一种来源于经典统计学的有监督学习技术。然而，随着机器学习和深度学习的迅速兴起，因为线性（多层感知器）层的神经网络执行回归，线性回归的使用也日益激增。

这种回归通常是线性的，但是当把非线性激活函数合并到这些网络中时，它们就可以执行非线性回归。

非线性回归使用某种形式的非线性函数（例如多项式或指数）对输入和输出之间的关系进行建模。非线性回归可以用来模拟科学和经济学中常见的关系，例如，放射性分子的指数衰减或股票市场的走势与全球经济的整体走势一致。

线性回归如何工作？

从神经网络的观点来看，我们可以将线性回归模型指定为一个简单的数学关系。简单来说，线性回归是在输入变量和输出变量之间建立一个线性依赖关系模型。根据所处的工作环境，这些输入和输出使用不同的术语来引用。

最常见的是一个包含k个示例的训练数据集，每个示例都有n个输入分量称为回归变量、协变量或外生变量。输出向量y称为响应变量、输出变量或因变量。在多元线性回归中，可以有多个这样的输出变量。模型的参数被称为回归系数，或者在深度学习环境中称为权重。对于单个训练示例，该模型具有以下形式：

我们还可以通过将训练数据压缩到矩阵中：

以此将权重压缩到矢量中来简化这种表示法。权重构成了模型的核心。它们对输入和输出之间的线性关系进行编码，从而更加重视重要的数据特征，并降低不重要的数据特征的权重。注意，我们向X值为1的每一行添加了一个“隐藏组件”。这让我们能够计算w的点积，其偏置项为。偏置项允许模型将其计算的线性超平面移开原点，从而允许模型对非零中心数据中的关系进行建模。简化后的模型可以表示为。

这是大多数线性回归实现的基础模型。然而，在此基本结构上可以存在许多变体，每种变体都有其自身的缺点和益处。例如，有一个线性回归版本称为贝叶斯线性回归，它通过在模型的权重上放置先验分布来引入一个贝叶斯观点。这样可以更容易地推断模型正在做什么，随后使其结果更具有解释性。

训练线性回归模型

那么我们如何训练线性回归模型呢？这个过程类似于大多数机器学习模型所使用的过程。假设我们有一套训练集，任务是在不影响模型对新示例预测能力的情况下，尽可能紧密地对这种关系进行建模。为此，我们定义一个损失或目标函数输入真实输出y和预测输出，并测量了给定x时模型在预测y时的“好坏程度”。我们使用下标w来表示J的输出取决于模型的权重w，并通过预测y对其进行参数化，即使这些权重值未明确显示在函数的计算中。线性回归通常使用均方误差（MSE）损失函数，定义为：。