酷应用

Azure 云创享 | 微软带你体验有“温度”的大数据

百家作者：微软科技 2018-12-04 13:51:08

12月4日，农历十月二七，晴，微风

天气渐凉，又到了被家人提醒穿秋裤的季节。除了家人的贴心提醒，天气预报更是每天每时都为您带来最精准的温度报告，很多网站、手机应用，手机运营商的预报平台，甚至类似Cortana这样的智能助理，随手一查当天不同时段，甚至未来一周的天气情况都可实时获取。

这些不同渠道如何获取如此精准的天气情况？莫非亲自收集和预报气象数据？从经济性、时效性，甚至合规性等角度来说都是不可行的，其实这些数据大都来自国家气象局及其下属机构。

为广大用户提供权威气象预报，如此重任更需严格应对

华风爱科气象科技（北京）有限公司，由中国最大气象信息媒体服务公司华风集团与全球知名商业气象服务公司AccuWeather于2015年在北京共同成立，所提供的全球气象服务数据全覆盖，可提供时间尺度从1分钟到90天的预报，拥有全球300万城市及地区的天气预报能力，旗下中国天气通产品不仅可提供45天超长预报和每日详情，并能通过曲线和日历两种方式展现48小时内的逐小时预报。

目前，华风爱科的天气预报、预警等信息已被中国移动、联通、电信三大运营商，以及百度、一点资讯等互联网企业广泛采用，就连国内各大主流手机厂商内置的“天气预报”数据都是实时调用华风爱科的天气数据，每天调用次数超过20亿次！

气象观测数据是开展各项气象业务的基础，对于承担庞大复杂数据汇总和分析的华风爱科而言，如何以经济高效的方式存储并处理如此海量的国内外气象数据，这已经成为他们业务发展的关键。

不只华风爱科，不仅气象预报，大数据正在各行各业焕发出巨大价值。随着越来越多企业开始出海，如何通过一个全球规模的大数据平台快速处理并及时交付成果，已成为很多企业面临的重要挑战之一。

业务走向全球，需要怎样的大数据平台？

成立之初，华风爱科选择将IT系统架构部署至云端，由海外母公司AccuWeather将相关技术和资源搭建在海外Azure，并将中国平台部署在中国区Azure。由于海内外Azure的统一操作性，工程师可将AccuWeather的新技术无缝迁移至国内，降低了二次学习开发的人力成本。同时这也让华风爱科的气象数据服务连续性更有保障，在节省维护人力成本的同时加快新技术应用速度，实现了巨大的收益。

种类各异，体量巨大的数据

复杂的分析运算和处理需求

面向全球范围的及时交付

微软大数据平台解决方案，让数据焕发更大价值，考虑到需求的专业性和特殊性，华风爱科的气象大数据平台使用了Azure一系列服务功能：

高性能虚拟机：承担数据分析和处理任务的，能够快速进行横向扩展以满足不断增长的用户访问。由于气象信息的特殊性，天气数据的访问主要集中在早晚两个高峰时段，夜间访问量小，Azure虚拟机服务支持不限带宽，按流量计费的收费方式，可在不同时段动态调度资源，借此有效降低IT成本；
Redis缓存服务：不同于传统IT系统，云端服务不支持每秒几百兆的高性能共享存储，华风爱科高速大量的数据访问会出现数据提取延迟问题。为解决这一问题，华风爱科使用了Azure的Redis缓存服务，将部分数据放在Redis作为中转，保证数据访问的延续性；
存储备份：为保障数据库稳定性，华风爱科使用Azure北区和东区两地资源做为多中心灾备方案。Azure的PaaS层服务流量管理器可监控Azure或外部网站与服务，在遭遇故障后随时将用户访问重定向至新位置，借此改善重要应用程序的可用性。
……

这样的架构设计使得华风爱科可以顺利将更多业务迁移到Azure，通过技术融合与创新为用户提供准确、及时、全面的气象信息服务。他们还计划在未来继续结合人工智能与大数据技术做更多全新尝试。

HDInsight：面向通用领域，适用于企业的云端大数据服务

对于需要搭建大数据平台的企业，可选择Azure智能云提供的不同产品和服务，结合自身需求量身定制出自己的大数据平台。但同时Azure也基于Apache Hadoop为企业提供了「拆箱即用」的通用大数据平台。

Azure HDInsight是一种完全托管的云服务，用户可以使用Hadoop、Spark、Hive、LLAP、Kafka、Storm、R等开源框架，轻松、快捷、经济地处理大量数据，进而实现丰富的ETL、数据仓库存储、机器学习、物联网等使用场景。企业甚至可借助HDInsight将本地的大数据基础架构扩展到Azure，通过Azure提供的高级分析功能进一步获益。

作为一种全面兼容Hadoop的开源大数据平台，相比企业自行基于Hadoop技术构建，Azure HDInsight具备一些独有的优势：

云端原生：为生产工作负载提供端到端SLA保障，用户可根据需求灵活创建针对Hadoop、Spark、Hive、LLAP、Kafka、Storm、HBase和R优化的群集；
全球覆盖：在全球大多数Azure区域均可用。美国、中国和德国的Azure主权云也提供了该功能，可更好地满足当地合规性要求；
安全性与合规性：通过监视、虚拟网络、加密、Active Directory身份验证、授权、基于角色的访问控制等功能，为数据提供企业级保护，满足最常用行业和政府合规性标准；
高效：用户可灵活选择配套工具，如Visual Studio、Eclipse、IntelliJ、Jupyter和Zeppelin，使用Scala、Python、R、Java和.NET等熟悉的语言编写代码；
低成本：功能强大、经济且可靠的服务。用户只需为所使用的服务和资源付费，按需创建群集，按需纵向缩放。计算和存储资源可独立缩放，获得更佳性能和灵活性；
可扩展：轻松操作即可与常用的第三方大数据解决方案无缝集成，并可通过应用程序、边缘节点和脚本操作进行定制，轻松扩展群集功能。