酷应用

观点 | 如何从一名软件工程师转行做人工智能？

百家作者：机器之心 2017-08-25 13:41:06

选自insightdatascience

机器之心编译

参与：王宇欣、黄小天

近日，Insight AI 发布了一篇题为《Transitioning from Software Engineering to Artificial Intelligence》的文章，提出一名软件工程师如果打算转行做人工智能，需要掌握这 5 项技能：统计学、机器学习理论、数据整理、调试／调节模型、软件工程。

Chris Lesniewski-Laas 正在与 Insight AI 员工讨论 Dropbox 的机器学习问题

关于将机器学习作为一项技能

作为软件工程师关键在于要紧跟框架、标准以及范式的最新状态。软件工程师不停地努力学习，希望把最好的工具运用到工作中。机器学习在当今诸多的应用程序中找到了立足点，很自然地它就变成了许多工程师想要掌握的一项技能。

但是，相比于新框架机器学习更难掌握。作为一个高效的实践者，你需要充分理解该领域的理论、广泛掌握当前最尖端的知识，并且有能力以不确定的方式塑造问题。

网上很多的指南只会简单地教你如何在一个策划好的数据集上训练可以立即使用的模型，并达到一个不错的准确度，然后就结束了。事实上，要成为一个优秀的机器学习工程师必须掌握更加广泛的技能。

以下是我们与超过 50 个湾区和纽约顶尖的机器学习团队对话的精华部分，他们来到 Insight AI，准备好解决其问题并加速实现人工智能应用的普及。

为什么机器学习不只是「另一个工具」

部署机器学习的解决方案不仅仅是在你的数据集上随意训练一个模型。它需要理解以下内容：

你拥有的数据类型、它的统计学分布方式、它含有什么偏差。
适用于你的特定数据集的统计模型，以及这些模型成功的可能性。
相关指标的优化以及你的模型输出的意义。

换句话说，为了整合、部署以及调试模型，除去工程学的知识，你还需要有统计学、线性代数和优化理论的基础知识。

为一个问题搭建特定的机器学习解决方案，你需要考虑从数据的获取、标记和预处理到构建、更新并服务一个推理模型以及中间的一切等问题。

最终，我们认为可以提前为标准的网站搭建一个数据接口（REST API）。我们不能保证机器学习模型总是收敛或产生有用的输出。学习如何审视和传递有效的机器学习产出的最佳方式是理解其理论基础与数据分类之间联系的方式。

转行人工智能你需要掌握这 5 项技能

1.统计学

为了理解机器学习，坚实的统计学基础知识是必须的。这包括：

评估模型成功的不同方法（精确度、召回率（recall）、特征曲线下的面积等）。你选择的损失函数和评估指标如何测量你的模型输出的偏差。
如何理解过拟合（overfitting）和欠拟合（underfitting），以及偏差/变量权衡。
模型的结果与置信度之间有什么联系。

2.机器学习理论

当你在训练神经网络时，实际上发生了什么？是什么使这些任务可行而其它的不行呢？对待该问题的好方法是，在深入理解理论之前，首先通过图和实例理解机器学习。

需要理解的概念有不同的损失函数工作的方法，反向传播有用的原因，以及计算图究竟是什么。深入理解构建函数模型并且与团队其他成员有效地对其进行沟通非常关键。以下是一些资源，以高层概述开始，逐渐深入。

谷歌的深度学习课程是一个优秀的入门课程（https://www.udacity.com/course/deep-learning--ud730）。
李飞飞的计算机视觉课程（http://cs231n.stanford.edu）和 Richard Socher 的自然语言处理课程（http://cs224d.stanford.edu）中包含更多专门的方法。
Goodfellow 的深度学习书（http://cs224d.stanford.edu）特别好，对基础进行了全面概述。

另一个基础技能是有能力阅读、理解和实验研究论文。起初看上去这似乎是一个艰巨的任务，所以一个不错的方法是从一篇后面附有代码的论文开始，并深入理解其实现。

3.数据整理（Data Wrangling）

问任何一个数据科学家，他们会告诉你其 90% 的工作是数据再加工（data munging）。它对于应用人工智能的重要性就如同你的模型的成功与你的数据的质量（和数量）高度相关一般。数据在许多方面起作用，可分为以下几个类别：

数据获取（找到好的数据源，精确测定数据的质量和分类，获取并推理标签）
数据预处理（补全缺失值（missing data）、特征工程、数据增强、数据归一化、交叉检验拆分）
数据后处理（使模型的输出有用，去除人为数据，处理特殊情况和异常值）

熟悉数据整理的最好方法是掌握原始的数据集，并尝试使用它。网上有很多的数据集并且许多社交媒体和新闻媒体网站都有着很好的应用程序接口。遵循以下步骤是一个不错的学习方法：

掌握一个开源的数据集并对其进行检测。它有多大（观测值和特征值的数量）？数据是如何分布的？是否有缺失值或者不含异常值？
开始在原始数据和有用数据之间构建一条转换的通道。你是如何回填丢失值的呢？处理异常值最合适的方法是什么？你如何归一化数据？你可以创造更具表现力的特征吗？
检查你的转换数据集。如果一切看上去都不错，进行下一步吧！

4.调试/调节模型

对一些不收敛或者包含与调试代码非常不同的过程但是给出合理结果的机器学习算法进行调试。同样地，找到正确的架构和超参数需要坚实的理论基础，良好的基础建设工作可以测试不同的配置。

由于该领域在向前发展，调试模型的方法也在不断进化。以下是从我们的讨论和部署反映了 KISS 理论和软件工程师之间的熟悉度的模型的经验中得来的「合理性检查（sanity checks）」。

尽快从已被证明可以在类似数据集上工作的简单模型入手，掌握基线。古典统计学习模型（线性回归、最近邻等）或者简单的启发式方法或规则会让你明白 80% 的方法并且更快地进行实现。入门的时候，以最简单的方法去解决问题（查看谷歌机器学习规则的第一点）。
如果你决定训练一个更加复杂的模型以在基线上有所提升，不妨从数据集的一小部分入手，在分数据集上训练模型使其过拟合。这保证了你的模型最起码的学习能力。不断地在模型上迭代直到你可以过拟合 5% 的数据。
一旦你开始在更多的数据上训练，超参数就开始变得更重要了。理解这些参数背后的理论从而理解什么是要探索的合理值。
使用理论方法调节你的模型。写下你使用的最低限度的配置并总结其结果。理想情况下，使用自动超参数搜索策略。在最开始，随机搜寻可能就足够了。尽可能地去探索更多理论方法吧。

许多步骤都能被你的开发技能加速，这引出了最后一个技能。

5.软件工程

许多应用型机器学习允许你充分利用软件工程技巧，有时需要做些变换。这些技巧包括：

测试转换线路的不同方面（数据预处理和增强、输入和输出清除、模型推理时间）。
构建模块化的代码和可重复的实验加速方法。
在训练的不同阶段备份模型（检查点）。
建立一个分布式基础架构来运行训练、超参数搜索或者更有效地推理。

想要知道更多我们推荐的成为优秀机器学习工程师的软件技能，请查看我们的推文：https://blog.insightdatascience.com/preparing-for-the-transition-to-applied-ai-8eaf53624079

在工作中使用工具

上述资源会帮助你处理切实的机器学习问题。但是应用人工智能领域变化的特别快，最好的学习方式是动手实践并且真正尝试构建一个完整方案解决实际的问题。

待办事项：

找一个你可以构建的产品应该会很有意思。什么可以让你的人生更高效呢？什么是可以提升使用数据完成的方法的工具？什么是解决一个有趣问题的数据驱动的方法？
寻找与问题相关的数据集。对于如今大多数容易处理的问题，你应该寻找标注数据。如果对于你的问题不存在标注数据集，那么你就应该变得有创造性一点。什么是寻找相似数据或者高效标注数据的方法？
从探索数据入手，看看你尝试完成的任务在你所拥有数据的数量和质量下是否可行。在你开始 TensorFlow 之前，网上搜索人们解决过的相似问题是一个不错的主意。哪些是你可以阅读的相关博文与论文，有助于你加快探索新方法？

找一些灵感，然后深入研究吧！记住，尽管机器学习工程的核心是构建产品，但是它还包含一个不可或缺的理论层面。你会探索一些模型和范式，这些东西在未来也许被证明是不成功的，但是这非常好，因为它会使你更好地了解问题的复杂性。

附言

人工智能是一个令人兴奋、不断变化的领域，它对机器学习工程师的需求很大，铺天盖地的新闻都在围绕这个主题进行报道。我们建议听取一些可靠的资源和新闻，从而将与该领域密切相关的一些创新中分离 PR 和抽象研究。以下是一些有所帮助的资源。

Hacker News：这是一家关注计算机科学、数据科学和创业精神的社会新闻网站。由 Y Combinator 运营—一家著名的公司孵化器。别被名字骗了！「hacker」这个单词最初的用法与网络罪犯没什么关系，而是指一些通过编程技巧聪明地解决问题的人。
Import AI ：由 OpenAI 的 Jack Clark 运营的一家不错的简报，在行业内保持领先地位。
Insight Blog：我们时刻在进步。在我们 AI blog 中有一些推文关于之前的不同工程，并且可以为有趣的问题的结局提供不错的灵感。我们同样向订阅的客户定期发送人工智能的内容。