酷应用

Kaggle上线超170万篇arXiv论文，数据集共1.1 T

百家作者：AI100 2020-08-10 21:35:33

导读：近日，arXiv 将 170 万+ 篇的论文，打包成数据集，放在了 kaggle 平台，以后访问和下载论文，就更方便了。该数据集目前大小 1.1 TB 左右，而且之后还会随着每周的更新持续增长。

作者 | 神经小兮

来源 | HyperAI超神经（ID: HyperAI）

170 万+ 篇学术论文，1.1 TB 大小，这是 arXix 最近在 kaggle 开放的一套数据集，网友问讯惊呼：太酷了！

网友评论区纷纷捧场：太棒了！

数据集整理团队表示，希望能以此激发相关研究者，探索更丰富的机器学习技术，提出更多的发现和创新。

开放数据集，让论文搜索更简单

近 30 年来，arXiv 为公众和研究团队提供学术文章的开放访问渠道，这些学术论文涵盖的领域极为广泛，从物理学的庞大分支，到计算机科学的众多分支，再到数学、统计学、电子工程、定量生物学和经济学等所有学科。

这些 arXiv 上大量的研究论文，虽然很多人从中获益，但也经常有人反映，它存在浏览、搜索和排序不方便等缺点。甚至有人还专门找到一些在 arXiv 上搜论文的技巧分享出来。

于是，为了让 arXiv 更加易于访问，康奈尔大学现在在 Kaggle 上提供了一个免费、开放的 arXiv 数据集。

该数据集包含了 170 万篇学术论文，还包含了论文相关的元素（features），例如文章标题、作者、类别、摘要以及全文 PDF 等。

arXiv 执行董事 Eleonora Presani 介绍说：「在 Kaggle 上拥有整个 arXiv 语料库，极大地增加了 arXiv 论文的潜力。通过在 Kaggle 上提供数据集，我们不再只是让大家通过阅读这些文章学到知识，更重要的是，将 arXiv 背后的数据和信息，以机器可读的格式提供给公众。」

Eleonora Presani 是 arXiv 的第一任执行董事

Presani 还说：「arXiv 不仅仅是一个论文库，它还是一个知识共享的平台。这要求我们在展示和解释可用知识的方式上，不断创新。而 Kaggle 用户可以帮助突破这一创新的极限，它成为了我们进行社区协作的新渠道。」

arXiv 数据集都有什么？

arXiv 数据集基本信息如下：

arXiv Dataset

发布人员： Paul Ginsparg，Moonshot Factory，Jack Hidary

包含数量：170 万+ 篇学术论文

数据格式：json

数据大小：1.1 TB

发布时间：2020 年 8 月

下载地址：https://www.kaggle.com/Cornell-University/arxiv

目前，arXiv 数据集提供了 json 格式的元数据文件，它包含每篇论文的相关条目，具体如下：

id：论文访问地址，可用于访问论文；
submitter：论文提交者；
authors：论文作者；
title：论文标题；
comments：论文页数和图表等其它信息；
journal-ref：论文发表的期刊信息；
doi：数字对象标识符；
abstract：论文摘要；
categories：论文在 arXiv 所属类别或标签；
versions：论文版本。

可以轻松地在这些浩如烟海的论文中进行遍历、筛选、查阅。

数据集目前已更新了 5 个版本

此外，用户还可以通过以下两个链接直接在 arXiv 上访问每篇论文：

https://arxiv.org/abs/{id}：论文页面，包括摘要和其他链接；
https://arxiv.org/pdf/{id}：论文 PDF 下载页面。

还可以批量访问：用户可以在谷歌云存储上的 bucket gs://arxiv-dataset 上免费获取完整的 PDF 文件，或通过谷歌API （json documentation 和 xml documentation）来获取。

论文 PDF 文件被分组到 tarpdfs 文件夹的几个 .tar.gz 文件中，整套数据集大约有 1.1TB 大小。具体如下所示（以下分别是 2010 年 1 月（1001）的 1、2、3 部分字段）：

tarpdfs/arXiv_pdf_1001_001.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_001.tar.gz)tarpdfs/arXiv_pdf_1001_002.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_002.tar.gz)tarpdfs/arXiv_pdf_1001_003.tar.gz  (gs://arxiv-dataset/tarpdfs/arXiv_pdf_1001_003.tar.gz)

用户还可以使用 gsutil 之类的工具，将数据下载到本地计算机。