数据分析师花费一半以上的时间清理和转换数据，而不是从中提取商业智能，这并不稀奇。数据储存的规模不断增大，数据类型也在激增。新一代的工具蜂拥而至，并承诺把复杂的工具送到不依赖数据的科学家的手上。

技术领域最热门的职位之一是数据科学家，或许只有最新出现的首席高管职位：首席数据科学家能超越他们。显而易见，人们对这种趋势一直存在质疑，来自美国科技网站InfoWorld的 Yves de Montcheuil曾引用过一则笑话，数据学家就是住在加利福尼亚州的商业分析师。

每个公司都需要把公司的数据转换为商业智能，这并不是什么有趣的事，这就是数据科学家承担主导责任的时候。但随着数据数量和种类的激增，数据科学家发现，他们大部分的时间都花费在清理和转换数据，而不是分析数据，并把它们告诉给企业经理。

最近，IT项目众包公司CrowdFlower的数据科学家进行了一项调查(需要注册可查看)。调查发现，三分之二的分析人员认为清理和组织数据是它们最费时的工作，52%称他们最大的障碍是数据质量差。受访者说出了在它们工作中使用的48种不同的技术，最受欢迎的是Excel(55.6%)，其次是开源语言研究(43.1%)，和Tableau数据可视化软件(26.1%)。

▲来源：CrowdFlower公司

数据科学家认为它们最大的挑战是清理数据花费时间，数据质量差，缺少分析时间，以及无效的数据建模。

是什么抑制了数据分析的发展？被调查的数据科学家列举出，包括缺少有效满足他们工作需要的工具(54.3%)，组织没有清楚地说明目标和宗旨(52.3%)，以及培训投资不足(47.7%)。

▲来源：CrowdFlower公司

缺乏工具，目标不明确，不注重培训被报告为影响数据科学家效率的主要障碍。

承诺将满足大数据分析师需要的新工具

在技术领域有一个基本的课题：早期只有少数精英需要理解和使用知识、工具，随着时间的推移，产品日益改进，价格降低，企业适应，技术逐渐成为了主流。新的数据分析工具蜂拥而至，承诺把技术的效益带给非科研人员。

2014年8月17日，Steve Lohr在纽约时报上刊登了几种产品的简介。例如，ClearStory Data公司的软件结合多个来源的数据，并转换成图表、地图和其他图形。在数据准备问题上Paxata公司采取了不同方式，他们的软件通过各种可视化工具对数据进行检索、清理，和混合用于分析。

这家不以营利为目的的知识开放实验室，号称是一个为“公民骇客、数据管理者，以及对技术和资讯结合的可能性产生兴趣的普通公民”提供的社区。这个组织正在招募“数据管理员”志愿者，来维护核心数据集，例如国内生产总值和ISO代码。空军总司令部的Rufus Pollock于2015年1月3日对该项目进行了描述。

▲来源：知识开放实验室

知识开放实验室正在寻找志愿者程序员，策划核心数据集并作为零阻力数据计划的一部分。

没有比使用Morpheus更简单和直接的方式来管理异构MySQL、MongoDB、Redis和ElasticSearch数据库。仪表板上的一次单击，Morpheus能使你在混合云上无缝提供、监控和分析SQL、NoSQL和内存数据库。你创造每个的数据库实例都包括一个内置的容错和故障的完整副本集。

译文链接：https://dzone.com/articles/how-to-minimize-data-wrangling-and-maximize-data-i-1

来源：IT168编译

版权声明：本号内容部分来自互联网，转载请注明原文链接和作者，如有侵权或出处有误请和我们联系。

关联阅读

原创系列文章：

1：从0开始搭建自己的数据运营指标体系（概括篇）

2 ：从0开始搭建自己的数据运营指标体系（定位篇）

3 ：从0开始搭建自己的数据运营体系（业务理解篇）

4 ：数据指标的构建流程与逻辑

5 ：系列 ：从数据指标到数据运营指标体系

6:   实战 ：为自己的公号搭建一个数据运营指标体系

7:  从0开始搭建自己的数据运营指标体系（运营活动分析）

数据运营 关联文章阅读：  

运营入门，从0到1搭建数据分析知识体系    

推荐 ：数据分析师与运营协作的9个好习惯

干货 ：手把手教你搭建数据化用户运营体系

推荐 ：最用心的运营数据指标解读

干货 : 如何构建数据运营指标体系

从零开始，构建数据化运营体系

干货 ：解读产品、运营和数据三个基友关系

干货 ：从0到1搭建数据运营体系

数据分析、数据产品 关联文章阅读：

干货 ：数据分析团队的搭建和思考

关于用户画像那些事，看这一文章就够了

数据分析师必需具备的10种分析思维。

如何构建大数据层级体系，看这一文章就够了

干货 ： 聚焦于用户行为分析的数据产品

如何构建大数据层级体系，看这一文章就够了

80%的运营注定了打杂？因为你没有搭建出一套有效的用户运营体系

从底层到应用，那些数据人的必备技能

读懂用户运营体系：用户分层和分群

做运营必须掌握的数据分析思维，你还敢说不会做数据分析

合作请加qq：365242293  

---

更多相关知识请回复：“ 月光宝盒 ”；

数据分析（ID : ecshujufenxi ）互联网科技与数据圈自己的微信，也是WeMedia自媒体联盟成员之一，WeMedia联盟覆盖5000万人群。

关注公众号：拾黑（shiheibook）了解更多

[广告]赞助链接：

四季很好，只要有你，文娱排行榜：https://www.yaopaiming.com/
让资讯触达的更精准有趣：https://www.0xu.cn/