大数据文摘专栏作品

作者：Christopher Dossman

编译：Olivia、Joey、云舟

本周关键词：开源软件、预训练、推荐系统

涉及开源软件的项目个数和开发人员人数现在越来越多了。GitHub报告称，仅在2019年，新加入的开发人员就超过1000万，而新创建的项目超过4400万个。

OSS生态系统以其数以千万计的项目和开发人员而焕发生机，同时也颇具威慑力。它存储着最关键的基础结构的源代码，并拥有最杰出的开发人员作为后盾。然而，低质量、甚至恶意软件，以及新手开发人员也比比皆是。因此，虽然外部捐款对于OSS项目至关重要，但是捐款是否被接受（甚至被考虑）都取决于开发人员和捐款人之间互相信任与否。

本文定义了API、开发人员和项目的技能栈。与通过汇总活动数相比，这项定义能更准确地反映开发人员的知识；与关注开发人员过去修改的代码文件相比，这项定义更为广泛。

原文：

计算机视觉研究人员普遍认为，当前的深度神经网络总是渴求更多的带标签数据。比如训练当前最新的CNN时需要诸如OpenImages或Places等的大数据集，它们包含了超过1M的带标签图像。但很多时候，普通从业人员难以收集如此多的带标签数据。

类比BERT和T5在语言领域取得的进步，Google AI研究人员认为，大规模预训练也可以提高计算机视觉模型的性能。

在本文中，研究人员表明，在对大量通用数据进行预训练的情况下，简单的传输策略就能在大型数据集和数据量少（最少每类只有一张图像）的任务上都得到好的结果。他们现在发布了BiT-M模型，在ImageNet-21k上进行了预训练的R152x4，以及为在Jax、TensorFlow2和PyTorch间的传输提供支持的协同实验室。他们希望该模型能替代常用的ImageNet预训练模型为从业者和研究人员所用。

Github传送门：

https://github.com/google-research/big_transfer

原文：

https://arxiv.org/abs/1912.11370

将图表示学习与多视图数据相结合来进行推荐是业界一大趋势。现有方法大多可以被归类为多视图表示融合。它们首先构建一张图，然后将图中每个节点的多视图集成到单个紧凑表示中。这些方法近来在工程和算法方面都引起了人们的担忧。

为了应对这一挑战，本文研究人员提出了M2GRL。这是一种用于Web级推荐系统的新型多视图多任务图表示学习框架。它为每个单视图数据构造了一个图形，从每个图形中学习单独的表示形式，最后对多个表示形式进行对齐以建立交叉视图关系。M2GRL支持不限数量的数据视图，并且可以分布式部署处理数十亿规模的数据样本。

M2GRL在淘宝网上的评估、离线实验和在线A / B测试都显示，M2GRL优于其他竞争基准。

原文：

https://arxiv.org/abs/2005.10110v1

为了设计自动化的游戏质量检验工具，一组研究人员提出了将游戏中的错误识别为异常检测（AD）问题。他们开发了State-State Siamese Networks（S3N），这是在这种情况下针对AD的有效深度学习指标，并探索了如何将其用作自动化测试工具的一部分。

研究人员通过对一系列Atari游戏的评估进一步表明，S3N能够构建有意义的“嵌入”，并且能够成功识别许多常见类型的游戏漏洞。

数据集链接：

https://www.kaggle.com/benedictwilkinsai/atari-anomaly-dataset-aad

代码与训练好的模型：

https://github.com/BenedictWilkinsAI/S3N

原文：

https://arxiv.org/abs/2005.10211v1

澳大利亚eHealth研究中心与VinAI Research合作的研究人员最近提出了BERTweet这一模型，这是第一个针对英文推文的公共、大规模预训练语言模型。BERTweet使用RoBERTa预训练过程进行训练，并且模型配置与BERT-base相同。

研究人员通过证明BERTweet优于其基准RoBERTabase和XLMRbase并帮助产生比以前SOTA模型更好的性能来证明BERTweet的优势。该模型在POS标记、NER和文本分类的三个下游Tweet NLP任务中均得到了体现。BERTweet发行版还旨在促进Tweet分析任务的未来研究和应用。

GitHub：

https://github.com/VinAIResearch/BERTweet

原文：

https://arxiv.org/abs/2005.10200v1

无代码创建基于深度学习的物体侦测器：

https://github.com/cmusatyalab/OpenTPOD

TensorFlow 2.0入门指南：

https://builtin.com/machine-learning/introduction-deep-learning-tensorflow-20

BNet2：一种简化的Butterfly-Net，同时也能与常规CNN连接：

https://arxiv.org/abs/1912.04154v3

一个面部取证模型（FFM）应对对抗攻击的安全性评估基准：

https://arxiv.org/abs/1911.00660v2

创意人工智能：

https://arxiv.org/abs/2005.09980v1

基于BERT的评估指标：可以用数千个可能有偏差的训练示例来对人类的判断进行建模：

https://arxiv.org/abs/2004.04696v4

知识渊博的程序化集成文本生成平台：

https://arxiv.org/abs/2005.08365v1

Google AI：我们很高兴赞助并共同组织FGVC7：

https://ai.googleblog.com/2020/05/announcing-7th-fine-grained-visual.html

现在正在招聘“AI未来学家”：现在是时候让人工智能在决策核心中占一席之地了：

https://www.zdnet.com/article/now-hiring-ai-futurists-in-an-era-of-covid-19-its-time-for-artificial-intelligence-to-take-a-seat-in-the-c-suite/

采用以下4种做法将AI成功集成到您的组织中：

https://www.fastcompany.com/90504689/adopt-these-4-practices-to-successfully-integrate-ai-into-your-organization

无需游戏引擎即可重现PAC-MAN，Nvidia的AI探秘：

https://www.zdnet.com/article/nvidia-researchers-use-ai-to-recreate-pac-man-without-a-game-engine/

专栏作者介绍

Christopher Dossman是Wonder Technologies的首席数据科学家，在北京生活5年。他是深度学习系统部署方面的专家，在开发新的AI产品方面拥有丰富的经验。除了卓越的工程经验，他还教授了1000名学生了解深度学习基础。

LinkedIn：

https：//www.linkedin.com/in/christopherdossman/

志愿者介绍

后台回复“志愿者”加入我们

点「在看」的人都变好看了哦！