大数据技术的四大挑战与十大趋势

数据从一开始是依附于具体应用的。数据库技术的出现使得数据与应用实现了第一次分离。数据存储在数据库中，不再依赖具体的应用而存在。数据要素化的需求将推动数据与应用进一步分离，数据不再依赖于具体的业务场景，数据以独立的形态而存在于数据库中，并通过数据服务向不同的业务场景提供服务。例如，人口数据库，可以向全部的涉及人口信息的业务场景提供服务。

将形成一套完整的数联网基础软件理论、系统软件架构、关键技术体系，包括：针对数联网软件以数据为中心的特点，需要从复杂网络和复杂系统等复杂性理论出发，研究数联网软件的结构组成、行为模式和外在性质；针对数联网软件的数据传存算一体化需求，需要采用数据互操作技术和软件定义思想，研究数联网软件运行机理、体系结构与关键机制；针对数联网软件跨层级、跨地域、跨系统运行带来的可靠性、可用性、安全性等质量挑战，需要以数据驱动为手段，研究数联网环境下保障服务质量与保护质量的原理、机制与方法。

数据为中心计算的核心目标是数据价值的最大化，关键要打破“数据孤岛”，实现数据要素的高效共享与协同。传统数据管理局限在单一企业、业务、数据中心等内部，未来大数据管理将从传统的单域模式发展到跨域模式，跨越空间域、管辖域和信任域。但跨空间域造成网络时延较高且不稳定；跨管辖域造成数据与应用异构，数据管理复杂度大大提升；跨信任域则要求具备容忍各类恶意错误的能力，跨域带来的这些变化将为大数据技术带来了新的机遇和挑战。

体系结构创新进入“黄金十年”，围绕不同数据处理特征的新型加速器（GPU、TPU、APU 等各种xPU）层出不穷，存储器件快速发展，高速SSD、新型非易失内存、新型计算网络等成为大数据处理系统的重要硬件配置，计算与存储的融合趋势明显。为极大程度发挥数据管理能力，大数据管理系统在存储、网络、计算等硬件上最大化挖掘新型硬件的处理能力。在处理上针对不同数据处理需求，配置不同计算与存储硬件成为大数据处理系统的主流架构。数据驱动的计算架构快速发展，从控制流到数据流到系统设计切换成为大数据处理系统从微观到宏观的重要体系结构设计理念。

数据规模急剧增长，大数据处理需求越来越走向深度价值挖掘，数据处理计算愈发密集，数据管理与处理的成本成为大数据管理与处理系统的重要考量因素，传统“以扩展性优先”的大数据处理系统设计将会被“以性能优先”的系统设计所替代。Spark、Flink 等系统在大数据处理生态系统中的占有率明显体现了这一趋势，图计算（图加速器、图计算框架等）、深度学习框架（Tensorflow、PyTorch 等）等领域专用大数据处理系统的崛起也是这一系统设计理念在技术生态上的表现。智能化数据管理、近似计算等新兴管理与处理方法成为性能优先设计的重要技术手段。

存算一体类体系结构技术快速发展，新型SSD等新型存储赢家功能愈发丰富，分布式计算系统边缘能力迅速发展，以上三种体系结构技术发展为大数据近数处理提供了良好的发展契机。近数处理体现在“存储上移”（如在GPU、FPGA 等计算设备上集成HBM）、“算力下沉”（如在DRAM 内存或者SSD 存储设备上集成处理能力）、“分布扩展”（如在云、边、端分布式处理数据，降低数据处理中心压力）。

传统大数据分析技术大多仅聚焦于单一来源单一模态数据，而实际应用中往往要对来自不同来源不同模态（如文本、图像、音视频等）的数据进行联合分析，从而实现不同来源与不同模态数据之间的信息互补。此外，诸多领域的大数据往往具有重要的时空属性，当前研究对这类信息的利用还不太充分。因此，探究能够跨模态关联、跨时空关联的广谱关联技术是大数据分析处理的一个重要趋势。

如何让大数据分析模型更加稳定且具有可解释性，从而使其分析结果对用户而言变得更加可信、更为可用最好还能具备一定的可回溯性是大数据分析面临的巨大挑战。虽然已有因果推断与可解释性分析技术取得了一定进展，但总体来说尚处于起步阶段，离实际应用还有很长一段距离。因此，从关联到因果也是未来大数据分析技术的重要研究方向。

全球大数据的持续高速增长，尤其是碳达峰、碳中和目标的提出，要求大数据技术栈必须走低碳高效、可持续发展的路线。例如云数据管理系统以资源共享、节能高效为主要特点，将是未来大数据管理的主要基础形态；在云数据管理基础上的全国一体化高能效大数据管理，可以进一步由于算力和数据要素的大规模调度与流通，将成为未来大数据管理的主要方向，形成低碳发展新格局。

随着大数据在各个领域应用的迅速普及，标准化需求将不断增长，与大数据流动融合、质量评估，及与行业、领域应用密切相关的大数据标准将成为发展重点。开源社区在大数据软硬件生态建设中的地位不断加强，对开源社区的主导权争夺将成为各国技术、产品和市场竞争的重要战场。

回顾国内外大数据技术在管理、处理、分析与治理四个方面近十年的发展，可以看出，数据规模高速增长，现有处理计算能力已经成为瓶颈；数据成为生产要素，但数据价值释放不充分；从产业生态重点的变迁看，呈现出“应用先于理论技术，市场先于标准法规”的现象，虽然大数据已经在一些应用领域（特别是互联网领域）取得了较好的成效，但是大数据基础理论和应用技术不成熟，大数据治理体系远未建立，总体上，大数据发展仍然处于初级阶段。

中国在大数据发展方面取得积极进展，但总体上较之国际先进水平，仍存在差距。具体地，大数据管理技术大部分领域与国外顶尖水平基本相同或接近，其中高能效一体化大数据管理领域处于国际领先水平；大数据处理技术多数领域与国外顶尖水平尚存在技术差距，在资源和互联网应用领域大数据处理技术应用较好，与国际最高水平基本持平；大数据分析的基础理论与核心技术方面与国际先进水平还存在着一定差距，在商业等领域应用方面已超越国外；大数据治理技术整体上发展较晚，体系远未成形，技术产品生态仍由国外主导，同时在以数联网为代表的数据开放流通技术方面与国际先进水平相当。

面向未来，在大数据应用需求驱动下，计算技术体系有必要进行重构，以数据为中心的新型大数据系统技术成为重要方向，信息技术体系将从“计算为中心”向“数据为中心”转型，新的基础理论和核心技术问题仍有待探索和破解。以大数据管理、处理、分析和治理为核心的大数据技术在原有通用计算体系上的持续优化仍有发展空间，数据为中心的新技术体系将成为缩小大数据规模指数级增长、与大数据计算需求和能力之间“剪刀差”的突破点。