如何拿到数据集中的 text

[qiyuxinlin]

您好，我下载了您公布在 huggingface 上的 bamboogle 数据集，里面有检索到的文本字段，但是只有 idx，text 是空的，我该如何获取 text

[abdoelsayed2016]

你好，

我们为了减小文件大小，只保留了 idx 字段，没有直接保存 text。所有的文本内容可以在以下链接中找到：

https://huggingface.co/datasets/abdoelsayed/reranking-datasets/resolve/main/psgs_w100/psgs_w100.tsv?download=true

这是用于检索的 Wikipedia 语料库，包含了所有的原始段落文本。你可以根据 idx 在这个文件中找到对应的内容。

希望对你有帮助！

[SheltonLiu-N]

@abdoelsayed2016 您好，真的是非常好的工作！我想确认一下，huggingface上https://huggingface.co/datasets/abdoelsayed/reranking-datasets-light
这个dataset里所有的training split都是来自于原始数据集中的training split吗？

[abdoelsayed2016]

@SheltonLiu-N Yes it is same as the original dataset

[SheltonLiu-N]

@abdoelsayed2016 I want to ensure that the training splits in https://huggingface.co/datasets/abdoelsayed/reranking-datasets-light are real training data rather than the testing data. Thanks for answering!

[abdoelsayed2016]

@SheltonLiu-N yes each partition same as the original dataset so training part same as original. We didn’t change anything