酷应用

初探百度大数据分析挖掘平台Jarvis

百家作者：数据分析 2018-08-10 11:27:29

在人工智能时代，企业既想通过大数据分析、挖掘技术提升效率，又被大数据量分析、机器学习挖掘等相关技术门槛阻扰，需要一款数据分析挖掘产品跨越这个鸿沟。Jarvis在这个背景下应运而生。Jarvis是支撑大数据分析挖掘应用开发的工具和平台，定位在企业开发者和大数据分析挖掘技术之间，提供可视化交互方面的支持，使得大数据分析、挖掘技术能快速转化为满足企业应用场景的具体产品。

据了解，Jarvis技术实施栈纵向分层、横向分级确保可全流程解决数据分析挖掘过程中的数据处理、计算资源、算子算法支持、环境部署等各环节问题，同时针对用户进行功能分级、并最大限度保持可扩展，为真正成为一款造福数据科学家、业务开发者、数据分析师、产品经理、决策分析者等各类开发用户的产品而努力。

可视化管理数据科学全流程

一个经典的数据挖掘分析应用过程包括，数据获取、数据预期处理、特征提取、建模开发、预测部署、投入应用。Jarvis充分调研分析开发实施人员在各环节面临的处理场景、可能的高效、方便的工作方式，进行了抽象设计实现：

数据连接，支持结构化、非结构化多类型数据接入，支持私有数据接入、支持云Bos、分布式HDFS、关系型数据库等等多类型数据源读取及灵活挂载。

数据准备，提供支持文本、图像类型的交互式的数据清洗、预处理工具，方便进行数据高效准备。

数据分析，支持PB级别的SQL交互式查询分析、Spark处理；同时提供丰富的可视化数据探查工具，方便开发者获取高价值有效样本。

挖掘建模，内置了丰富的基础算子算法供开发者高效进行建模开发；同时预置了经典的垂类行业解决方案，可以低成本在匹配场景进行高效实施。

模型部署，生成模型可直接发布、部署，并支持动态热加载。提供了常用模型评价指标的效果监控功能供一键选择监控、支持自由扩展。

流程监控，开发者进行的全工作流实现自动Track，新数据可自动触发重跑全流程。

云原生服务

在数据分析挖掘全流程及服务过程中，不同的场景、不同的数据、不同的处理阶段、不同的开发者对于环境的需求、对于资源的需求多种多样，这就需要数据分析挖掘平台的资源（包含开发环境资源）管理要能灵活接入、弹性拉伸、扩展方便，确保稳定及资源利用高效。Jarvis采用了云原生服务架构的方式实现。

自动机器学习AutoML

策略模型研发人员大量的时间花费在选取不同的特征数据、进行不同的算法选择尝试、参数调优中，最终获得一个高效的模型。AutoML理论上可通过设置自动尝试多数据特征、多算法、测试完全不同的模型架构，然后与目标相匹配，给出最终解决问题的方案。

行业解决方案

同行业的不同企业往往存在共性的数据分析挖掘场景，例如:电力行业，用电量预测；工业物理网类，设备故障检测、故障预测等。这些同类场景要解决的问题类似、要分析的数据类似，因此可以抽象通用的行业解决方案在同类场景下复用、快速投入应用。对于深层次的数据挖掘开发者，同样有大量通用的算法、算子库可以相互复用，提升开发效率。Jarvis从基础算法、通用模型、垂类解决方案分层内置能力并不断扩展集成，为不同场景需求的开发者用户提供了高效复用能力。