酷应用

全新HuggingFace数据集库发布！带来467种语言的611个文本数据集

百家作者：新智元 2021-01-13 15:05:11

新智元报道

来源：Huggingface

编辑：Q

【新智元导读】NLP初创公司 HuggingFace 近日发布新版其Datasets库 v1.2，包括611 个文本数据集，可以下载以准备在一行 python 中使用；涵盖 467 种语言，其中 99 种包含至少 10 个数据集；当使用非常大的数据集时（默认情况下是内存映射），高效的预处理可以使用户摆脱内存限制。

谈到 Hugging Face，熟悉NLP的朋友们可能无人不知。

Hugging Face是一家领先的 NLP 创业公司，有超过一千家公司使用他们的产品库，其中包括必应，苹果，Monzo等。

它拥有一个大型的开源社区，尤其是transformers库。transformers 是一个基于 python 的库，它公开了一个 API 来使用许多著名的transformer架构，如 BERT、 RoBERTa、 GPT-2或 DistilBERT等，这些架构可以获得各种 NLP 任务的SOTA结果，如文本分类、信息抽取、问答和文本生成。

这些架构都通过预训练得到了权重。通过pip命令即可安装:

而本次更新的datasets是一个提供两个主要特性的轻量级库:

一行程序处理: 这是用于下载和预处理任何主要公共数据集的一行程序(使用467种语言和方言)，在HuggingFace Datasets Hub提供。

使用一个简单的命令，比如：

squad _ dataset = load _ datasets (“ squad”)

即可获得这些数据集中的任何一个，以便在数据采集器中用于训练/评估 ML 模型(Numpy/Pandas/PyTorch/TensorFlow/JAX) 。

高效的数据预处理：简单、快速、可复制的数据数据预处理，可用于上述公共数据集以及用 CSV/JSON/text 编写的本地数据集。使用简单的命令，比如：tokenized_dataset = dataset.map(tokenize_exemple), ，可以有效地准备数据集进行检验和 ML 模型评估和训练。

Datasets还提供了15个以上的评价指标，旨在让社区容易地添加和共享新的数据集和评价指标。

Datasets还有许多其他有趣的特性:

将用户从 RAM 内存限制中释放出来，所有数据集都使用一个有效的零序列化开销后端(Apache Arrow)进行内存映射；

智能缓存: 永远无需等待数据被多次处理；

使用透明和 pythonic API (多处理/缓存/内存映射)实现轻量级和快速；

与 NumPy、 pandas、 PyTorch、 Tensorflow 2和 JAX 的内置互操作性。

安装和用法

datasets可以从 PyPi 安装，而且必须在虚拟环境中安装(例如 venv 或 conda)：

pip install datasets

如果想要将Datasets与 PyTorch (1.0 +)、 TensorFlow (2.2 +)或Pandas等一起使用，还应该安装对应版本的框架和库。

Datasets使用起来非常简单，其中主要的方法有:

1.datasets.list_datasets() 列出可用的数据集