酷应用

数据湖的各项安全实践

百家作者：51CTO技术栈 2023-02-13 19:32:58

作者 | Dan Neault

译者 | 陈峻

虽然数据湖能够给组织带来卓越的业务成果，但它们的快速采用，也可能会给一些缺乏资源和专业领域知识的团队，带来合规性和安全控制上的门槛。本文通过分析，向你介绍数据湖的各项安全实践。

如今，大家都普遍认为数据是商业环境中最有价值的资源。企业的成功往往与他们从数据中获利的能力有着直接关系。而作为传统关系型数据库的演进，数据湖（Data Lake）能够从多个来源获取原始形式的数据。这就是为什么许多组织已经开始转向通过数据湖，来改进分析，实现更有效的协作，并支持大规模的数据驱动型决策的原因。

虽然数据湖能够给组织带来卓越的业务成果，但它们的快速采用，也可能会给一些缺乏资源和专业领域知识团队，带来合规性和安全控制上的门槛。更复杂的是，数据湖的广泛使用，会让更多内、外部角色接触到数据，进而放大了业务安全的潜在风险。

从数据库到数据湖

在上个世纪60年代，随着计算机变得更易于访问，各个组织需要有效地存储和管理手中的数据，这便催生了数据库技术的产生。

在之后的几十年中，在线事务处理（online transactional processing，OLTP）型的工作负载和关系型数据库，充当了快速、准确地处理数据的主力军。

到了20世纪80年代，数据仓库（data warehouses）将数据处理从事务或操作系统，转变为了决策支持系统。这种转变使得许多组织能够聚合来自多个环境的数据，并通过汇集商业智能（business intelligence，BI），来支持战略决策的制定。

如今，大量的组织都会利用数据库、数据仓库和BI ，用以提供创新信息，并指导战略决策。然而，随着云计算和现代化编程语言的兴起，数据库的使用方式也随着如下因素，发生了巨大的变化：

组织开始意识到，如果他们不被限制于预定义的模式、以及在事务或分析系统中的使用方式，那么他们可以从数据中获得更多的价值。
数据可以被用于开发、训练、分析机器学习（machine learning，ML）模型，或是针对在任何类型的数据库上，运行的现有工作负载，进行现代化的改造。
云计算能够以前所未有的速度和规模，快速配置现代化的工作负载。

数据仓库在处理和分析结构化的数据方面固然表现出色，但它们无法捕获原始的、非结构化的数据，这在某种程度上对组织的数字化业务产生了限制。因此，数据湖等非关系数据库变得越来越受欢迎，一些数据架构师正在尝试着默认使用数据湖，来处理新的工作负载，并对现有的工作负载进行现代化的改造。

为什么要采用数据湖

正是由于数据架构师们通过使用数据湖，来构建ML模型，为无数分析系统提供数据，进而按需执行查询与分析等操作，因此他们从中获得了数据的潜在价值，也促进了越来越多的组织，开始在数据湖中构造它们的数据生命周期。

毕竟，在传统方式上，数据仓库常被用于定期分析大量的结构化数据，或定期生成数据报告。而这往往要求企业在处理和存储数据之前，就已经完成、并将预定义的模式应用到数据库上。这在某种程度上，就限制了数据在后续交易或分析系统中的创新使用方式。

而数据湖并不需要这样的前期工作。它能够集成和存储未经转换、或仅被少量处理的数据。这些数据可以来自包括：非结构化的日志数据、物联网（internet of things，IoT）传感器、社交媒体、以及多媒体内容等多个指向数据湖的来源。利用与数据湖配套的实现技术，数据架构师们可以：

使用Apache Kafka等数据流处理工具，近乎实时地处理流入数据湖中的数据。
使用Google BigQuery或Amazon Athena等高性能查询引擎，直接从数据湖中获取特定的数据洞见。
使用Elasticsearch等工具对大量结构化和非结构化的数据进行按需分析，对来自日志和运营的数据予以搜索、过滤和可视化。

数据湖安全吗？

显然，进入数据湖的数据需要得到与过去被存储在关系型数据库中的数据，有着相同级别、甚至更高的保护。那么数据湖主要会面临哪些安全风险呢？

访问控制：针对数据库表的访问权限控制，向来是灵活多变、且极具挑战性的。而针对数据湖的权限设置更是如此。我们往往需要基于特定的对象或元数据来予以定义。否则，整个组织的人员都可以访问数据湖的话，其中的个人数据、以及根据合规性要求保密的数据，就没有了安全保证。根据 Forrester Consulting 曾委托进行的一项研究，58% 的安全事件都是由内部威胁所引起的，如果不加以控制的话，员工对敏感数据的访问将是一场安全噩梦。
数据保护：数据湖通常充当的是组织内信息的单一存储库。因此，它往往成为了最有价值的攻击目标。如果没有适当的访问控制机制，不良行为者可以据此获得整个组织的敏感数据，甚至修改各种访问权限。
治理、隐私和合规性：由于数据湖的数据源多且杂，因此某些数据可能包含了在不同的系统和地域范围内属于隐私、甚至是违规的信息内容。由此产生的跨数据湖存储架构的定位、以及对不同层级数据的管控，将具有挑战性。

可见，为了在不影响安全性的情况下，充分发挥数据湖的优势，组织需要遵循一套优秀的实践，来降低运营不合规、管理不善、数据泄漏、以及其他安全事件的发生风险。

如何保护数据湖

有效的安全策略往往能够给数据湖赋予清晰的可见性和控制权。为此，组织可以采取四个步骤：

梳理标准化的数据访问流程：由于既可以给真实的用户使用，也能够供集成系统的调用，因此该流程应当能够跟踪数据的访问和使用的全过程。
创建数据的分类方案和目录：在数据湖中，数据应当按照内容、使用场景、类型、以及可能的用户群体进行分类，并提供相应的目录，以实现数据的搜索和索引。同时，我们还应该采取一种便利的方法，将需要保留的数据与待删除的数据分开。
启用数据保护：数据加密和自动监控等安全管控措施应被事先设置好。而当出现未授权的访问用户、及其可疑活动时，应能够及时发出警报。
加强数据的治理、隐私保护、以及合规性：我们需要通过明确的数据政策，向相关人员传达，该如何定位和使用数据湖，如何提高数据质量和敏感数据的使用，以及如何按照数据隐私标准去存储历史数据。