你看到的是视频,我看到的是“成吨成吨”的非结构化数据

百家 作者:企业网D1net 2019-05-27 03:00:19

要说这两年,移动互联网行业

最热门的风口是啥?


短视频莫属


这些“千奇百怪”的短视频

不仅填充了我们大量的时间

也填充了我们大量的“空间


因为这可都是“成吨成吨”的

非结构化数据!


IDC说,现在全球70%的数据

都是非结构化数据

它们遍布医疗、传媒、教育

等几乎所有行业


无处不在的非结构化数据

我们是如何存放?

如何管理?

如何利用的呢?


最近,戴尔科技集团举办了一场以

管理数据,论道价值

为题的技术交流会


各路行业专家同客户代表一起

就新时代下的数据管理和分析等话题

进行了深入的探讨和交流

↓↓↓

长按上方二维码或点击文末阅读原文

即可收看精彩视频演讲


同时,我们也准备了干货满满的

文字版内容,以飨读者


从数字化转型全景图到数据湖


数字经济时代,大数据带来了全新的挑战和机遇,数据湖成为了应对未来应用发展的最佳平台。

随着数据湖在行业用户领域实践的深入,其彰显出了六大突出价值:▼

 数据湖为企业用户的数据获取、处理、存储、分析、洞察提供一条龙的整体支撑

 有别于只能处理结构化数据、且要求数据与预先定义的数据模型高度吻合的数据仓库,数据湖支持结构化、半结构化和非结构化数据,可实现企业用户所有数据类型的统一

❸ 数据湖实现了数据集中式管理,有利于融入AI和ML创新技术。

 实现冷热数据有效存储与管理,提升热数据的存储与处理速度。

❺ 有利于企业用户进行数据追踪并获得一致性保障

 融入分布式与闪存加速技术,带来企业灵活弹性架构,为业务创新提供快速洞察。

Q
那么什么样的企业、什么应用场景更需要数据湖呢

能源、广电传媒、生命科学、制造业等多个行业,既存在对Oracle数据库等结构化数据存储与处理需求,同时在企业文档、图像、视频、语音等非结构化数据的处理和存储方面,亦有着强烈需要。

在数字化转型加速过程中,那些数据类型复杂有着强烈弹性扩展需求业务创新上存在多元化发展趋势的用户极其需要构建企业的数据湖

为此,我们需要进一步了解数字化转型的关键到底在哪里。数字化转型的大趋势带来了百行百业的全新变革,变是必须的,革是长期的,因为任何企业的数字化都不是一蹴而就。


1

数字化转型的关键

   除了数据还有什么?

2019年4月12日,戴尔科技集团在北京稻香湖景酒店举办了以“管理数据,论道价值”为主题的技术交流会。

大会上,北京殷塞信息技术有限公司总经理朱东,北京云至科技有限公司总经理和首席架构师沈强,戴尔科技集团大中华区系统工程部解决方案架构师姜永凯,分享了企业实现数字化转型过程中进行数据管理的相关内容提供了数字化时代下的深刻洞察。

↓↓↓

根据多位行业专家的观点,数字化转型的关键应落在数据上。然而,从信息化到数字化,企业到底会经历哪些重要改变,又会面临哪些挑战呢?

北京殷塞信息技术有限公司总经理朱东认为,只有数据文化,才能促使组织重视数据,在日常管理中尽可能应用数据分析的结果进行管理和运营,继而将数据应用融入到组织运行的各个方面。

之后,应用数据分析的结果推动企业的业务流程、协作效率、运行模式和协作方式等各个方面发生有益的变化,从而最终迈向数字化智能运营的企业。


“企业数字化转型,最重要的在于认识上的转变,尤其在于推动组织建立起重视数据和数据分析的‘数据文化’。


——朱东

北京殷塞信息技术有限公司总经理

在这中间,一方面要努力寻找在企业各个领域应用数据分析产生价值的方法,确定数据产生价值的原理、途径、工具和方案,另一方面,做好数据的规划、建设和管理,为应用提供一个坚实的基础也是非常重要。

上述过程的有效实现不仅依赖企业数字化转型的理论研究和创新,也依赖于深入的项目实践和经验总结,更需要企业逐步建立起一支具有数字化应用推广能力的新型人才队伍。



从信息化到数字化,需要企业在概念和认知上进行很大转变。信息化阶段,众多企业都有着明确的标准和路径。但是,数字化却触及了企业的方方面面——从企业管理到发展路径,再到技术创新的层出不穷,对于任何企业来说,真正头疼的是如何甄别这些技术、如何采用合适的技术以及如何实现更佳的应用创新与业务创新?

针对这些问题,北京云至科技有限公司总经理沈强认为,数字化的根本在于数据,提升数据价值是一个非常广泛的重要话题。


"对任何一个企业,数据生命周期的管理都包括了数据提取、数据聚合、数据处理、数据治理以及数据服务等多个环节。


——沈强

北京云至科技有限公司总经理

此外,沈强也非常关注数据服务方面。以往,企业的数据使用过程大多基于大数据平台,具备OLAP特点,时效性要求不高,给企业决策者提供的决策支持周期较长。

但是,当前数据服务已经获得了一些新进展,在提升数据服务速度的同时,能够实现大数据平台的敏捷化,以小时级、分钟级甚至秒级来提供服务,迅捷地达到企业决策层,洞察企业发展,加速决策。

可见,数字化转型中的数据固然重要,但以数据为核心的大数据敏捷性提升显得更为关键

在很大程度上,这需要企业转变业务应用模式。之前的“从应用到数据再到分析”的模式必须逐步向“从数据到分析再到应用”模式转变,覆盖大数据、云计算、物联网多领域的数据,聚焦业务,对接包括云原生在内的多元化应用。

在考虑大数据的数据量(volume)、多样性(variety)、访问速度(velocity)的常见3V需求上,未来的企业数字化创新的过程中必然要处理更大数据量,基于应对数据多样性的挑战,同时实现更快捷的速度来提升效率。

由此企业应用模式也将从支撑OLAP和OLTP应用的不同环境,转变为由一个一体化平台来支撑这一切。因此未来企业的IT将是OLTP系统与OLAP系统的集成,这是数字化转型成功的关键

戴尔科技集团大中华区系统工程部解决方案架构师姜永凯表示:

企业数据在同一个平台的支撑下,必然在数据采集、数据建模、数据分析、数据推理等技术实现上,可以为用户带来更快捷的数据洞察。通过不断融入人工智能技术和不断提升数据管理水平,从数据中获得更多价值,实现业务模式的创新与改变。





2

戴尔科技集团

构建数字化转型的全景图

不可否认,任何企业的数字化转型过程都需要建立在一个更强健的平台之上,从而更好地管理数据、分析数据、洞察数据,并将数据从传统“孤岛”中解锁,彻底释放数据的价值

现在,基于业界领先的七大业务组合——Dell、Dell EMC、VMware、Pivotal、SecureWorks、RSA和Virtustream,戴尔科技集团为全球企业用户构建了一幅数字化转型的全景图,预示着全面发展的数字化未来已经不远

为了更好地理解数字化转型的全景图,我们可以从“数字化加速”这样一个核心点展开。无论在数据、分析还是应用方面,企业数字化转型对敏捷化的渴求越来越明显,而敏捷化的集中表现在于加快速度。


接下来,我们从多个方面来理解戴尔科技集团这幅数字化转型全景图的价值意义。


其一平台化

戴尔科技集团提供了基于Isilon+ECS的数据湖基础架构平台,帮助用户在数字化转型繁荣过程加速数据驱动,提升应用价值。数据湖以统一资源的优势,实现了用户数据分层和多租户的管理,可以更好满足大数据时代用户在海量数据、访问速度、多样性方面的需求


其二智能化

在人工智能、机器学习和虚拟现实的智能应用方面,戴尔科技集团在中国持续推进并完善混合云、智能制造、人工智能和VR/AR四大本地生态系统,构建完善的创新生态体系。同时人工智能为数据分析、数据管理、数据存储带来更高效率,也加快了用户数据价值的洞察。

其三,敏捷化

面对敏捷应用以及云原生应用的增多,戴尔易安信VxRail超融合和VxRack软件定义数据中心的融合基础架构为用户提供了最佳基础支撑。此外,戴尔科技集团旗下的Pivotal具备业界知名度很高的Cloud Foundry企业云原生平台资源,对Kubernetes有着良好的支持,Pivotal Container Service (PKS)支持跨可用区的Kubernetes集群,可以在数分钟内部署安全的多租户Kubernetes。

再有,戴尔易安信和VMware、Pivotal三家联合打造了一款容器化云原生应用平台Pivotal Ready Architecture(PRA),为企业级客户提供了更快捷的导入。

其四,多云化

针对多云与混合云需求的企业用户现状,戴尔科技集团为用户提供了云赋能的创新能力。戴尔易安信带来的云就绪基础架构,通过业界领先的戴尔易安信服务器、网络、存储、数据保护、融合和超融合架构的整合资源形成整体支持,为企业用户的多云战略部署与实施以及在物联网边缘领域的拓展,提供了从边缘到核心到云的有力基础保障

加上长期携手英特尔这样的全球领先技术伙伴,戴尔易安信最新的PowerEdge服务器产品组合,能够更好满足传统计算、软件定义环境、边缘计算和高性能计算环境中的用户需求。

由此,戴尔科技集团可以助用户提供从边缘到核心到云的全面解决方案,搭建数字化转型中无处不在的计算能力

同时,戴尔易安信与全球云合作伙伴微软携手推出的戴尔易安信VxRack Azure Stack,是首批经微软全球实验室验证的AzureStack混合云一体机,已从2018年6月开始面向中国用户销售。

戴尔易安信VxRack Azure Stack基于混合云策略与Azure公有云保持一致,客户可以通过AzureStack构建真正的企业级混合云,获得与Azure公有云完全一致的用户使用体验,用户无需变更代码,就可以实现应用跨公有云和私有云的迁移。

其五,弹性化

基于数据中心现代化的策略,戴尔易安信为用户提供了横向扩展的灵活性,保证用户在计算、网络、存储三大核心基础架构上的灵活扩展能力,满足企业用户基础设施资源的弹性需求。

其六,SDX

软件定义(SDX)带来的好处早已被业界所认同,针对用户敏捷应用,软件定义基础架构带来的自动化交付与灵敏性,不仅提供了一致性的基础架构,同时可以为用户提供一致性的增值服务和运维服务

戴尔易安信在中国推出面向软件定义数据中心的PowerEdge MX模块化基础设施,进一步扩展其业界领先的PowerEdge服务器产品组合。PowerEdge MX支持高密度虚拟化、软件定义存储、软件定义网络、人工智能和大数据等多种传统与新兴数据中心负载

▲▲▲点击图片了解戴尔易安信PowerEdge MX信息

在弹性和软件定义上表现突出的戴尔易安信ECS,软件定义对象存储专为传统和下一代工作负载而设计,可用于各种各样的工作负载,如深度归档、Hadoop的区域防护、物联网等,其优秀的可扩展性、灵活性和弹性,可以为用户数据中心带来公共云的所有优势,同时享受可控制的成本好处

▲▲▲点击图片了解更多戴尔易安信ECS存储信息

其七,闪存化

闪存介质具备突出优势,不仅可以为用户带来数据存储性能上的提升,同时也能降低TCO(总体拥有成本),为用户提供持续可预测的性能支撑。

为此,戴尔科技集团在戴尔易安信UnitySC系列、IsilonXtremIOPowerMax等企业级存储阵营上早已实现了混合闪存与全闪存的领先组合。在将闪存的优势导入超融合平台的同时,也继续在NVMe与SCM(StorageClass Memory)技术的应用与推广中保持领先。

其八,安全化

戴尔科技集团旗下的RSASecureWorksVMware的多层面安全管理策略,可为用户数据中心基础架构提供计算、存储、网络的安全性和保密性。同时这些基础架构也与业务连续性的数据保护产品和解决方案形成了有机结合,实现了用户服务的SLA管理,全面提升架构安全。

戴尔科技集团整合7大业务群携手合作伙伴,长期为中国用户提供顾问咨询、部署实施与运维服务各个阶段的专业支持服务

很显然,在这八大企业用户最为关注的方面,戴尔科技集团集合了全球领先的计算、存储、网络、安全与服务资源,基于用户稳态的传统IT与敏捷的新IT需求,提供了一张助力用户数字化未来就绪的数字化转型全景图这个全景图的亮点聚焦在全面驱动用户数字化未来就绪的数据湖

3

Isilon数据湖

   全面驱动数字化未来

基于软件定义的横向扩展对象存储ECS与多协议的横向扩展存储Isilon优势,戴尔科技集团为用户提供了一个可以作为数字化转型应对未来应用发展的最佳平台,彰显出数据湖的价值,为业界所瞩目。

致力于全面驱动用户数字化未来,戴尔易安信Isilon跨集群节点的单一智能文件系统OneFS可以帮助用户存储设备形成一个数据湖(DataLake为实现业务需要灵活扩展存储性能和容量,价值体现非常突出

 加速用户数据处理速度,提升了数据存储效率,从而带来迅捷的数据价值洞察。

 跨节点的全局缓存技术带来的缓存池,加速了关系创新应用的热点数据存储处理。

支持几乎所有的行业标准协议,包括NFS、SMB、CIFS、HTTP、FTP、OpenStackSwift、Hadoop分布式文件系统HDFS等协议,极大减少了数据移动与复制,简化管理,提升了工作效率。

 戴尔易安信Isilon有效支持与集成VMware软件的优势功能,大大提高了OneFS用户最常见的虚拟化应用性能。

 戴尔易安信Isilon加上ECS弹性对象存储,有利于用户管理数据更为复杂的场景。

 戴尔易安信Isilon全闪存与混合闪存的丰富组合,凭借着更短的学习周期、更高的模型准确性和更高的GPU利用率,能够加速人工智能(AI)创新速度。


为此,数据湖成为了用户承载大数据、高性能计算、音视频处理、图片处理等各种类型业务应用的最佳平台,助力用户优化流程提升业务效率,进一步实现业务创新发展。

典型国内客户案例

能源行业

能源行业如某石化公司,其在地质、钻井开发等方面,对HPC一直有着强烈且明确的需求。而借助戴尔易安信构建的数据湖,带来了统一数据处理、存储与分析支撑,大大提升了他们的业务效率

广电媒体行业

近年来,随着4K高清影像的推出以及各种动画、电视节目等不断推陈出新,非结构化数据呈现指数级增长趋势,这传统存储架构带来严峻挑战。

而某大型电视台在采用了戴尔易安信Isilon,构建起高性能存储与数据备份系统之后,对于数字内容和非结构化数据存取的提升,以及存储系统的复杂性还有存储费用的降低,都带来了极大改善

生命科学领域

在生命科学领域,某基因测序公司等对数据处理性能与数据存储弹性有着很高的要求,而通过戴尔易安信构建的数据湖统一数据处理平台,其获得了基因测序与分析效率的提升,减少了投资与运营成本

电信业

电信领域,某大型电信运营商采用戴尔易安信Isilon独有的N+M的数据保护模式,通过智能化的SyncIQ软件实现数据远程复制的同步,借助闪存技术优势,加速用户应用性能的提升,实现了计费、合帐系统双中心话单的高效共享。

教育行业

教育行业,某重点大学的大学数字图书馆在系统建设上,采用了戴尔易安信Isilon产品组合,以及智能池化的SmartPool软件与SnapshotIQ软件,不仅实现了数据生命周期管理,同时也满足了存储的弹性扩容和数据管理的灵活性

医疗行业

武汉某医院PACS系统改造升级,采用戴尔易安信Isilon平台,结合用户AD认证管理,实现了PACS系统的数据存储整合,以及在存储高性能、易扩展、易管理上的整体满足。

交通行业

针对视频监控、道路违章视频与拍照等非结构化数据的处理、存储与应用,戴尔易安信Isilon数据湖解决方案不仅可以提升数据存储的效率,同时能够加快后期数据分析、数据挖掘、数据清洗的速度,并且提供从存储到备份整条数据生命周期管理的解决之道。

在这七大行业对非结构化数据的处理与存储需求上,戴尔科技集帮助客户构建的数据湖实现了有效整理、高效存储和快速分析的功能,让众多行业用户可以利用数据湖获得更快的存储效率和更佳的数据分析,最终实现每个组织的数据洞察价值,驱动用户加速实现数字化转型的宏伟蓝图。

动手指“”它

进入戴尔易安信解决方案中心


点击▼“阅读原文”观看戴尔科技集团技术交流会演讲视频

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接