KBQA 常用的问答数据集之 QALD

KBQA 常用的问答数据集之 QALDQALD数据集下载QALD数据集相关信息模型性能比较

Toady 元气满满

878人浏览 · 2022-03-20 21:04:37

Toady 元气满满 · 2022-03-20 21:04:37 发布

QALD* 系列数据集下载

QALD* 系列数据集相关信息

1. 数据集概述

QALD是一系列关于在关联数据上回答问题的评估活动, 其使用的知识库是DBpedia。QALD是一个开放的挑战，它针对的是在用户(用自然语言表达他或她的信息需求)和结构化(特别是RDF)数据之间进行交互(mediate)的所有系统。我们的目标是得到一个最先进的系统的优点和缺点,以及了解如何开发方法处理数据量巨大的RDF数据,这些数据分布在不同的数据集,并且是异构的,有噪音的,有时甚至不一致。

任务

参与者的一般任务如下:给定一个或几个RDF数据集和自然语言问题，返回正确的答案或检索这些答案的SPARQL查询。

2. 模型性能比较

各模型在数据集QALD-9上的表现
模型(年份)	F1	论文	代码链接
NSQA(2020)	45.33	Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning

各模型在数据集QALD-7上的表现
模型(年份)	F1	论文	代码链接
rank query graph(2019)	0.28	Learning to Rank Query Graphs for Complex Question Answering over Knowledge Graphs	GitHub - AskNowQA/KrantikariQA: An InformationGain based Question Answering over knowledge Graph system.

各模型在数据集QALD-6上的表现
模型(年份)	F1	论文	代码链接
STF(2018)	0.8	A State-transition Framework to Answer Complex Questions over Knowledge Base
NFF(2018)	0.78	Answering Natural Language Questions by Subgraph Matching over Knowledge Graphs	https://github.com/pkumod/gAnswer

各模型在数据集QALD-5上的表现
模型(年份)	F1	论文	代码链接
SubQG(2019)	0.624	Leveraging Frequent Query Substructures to Generate Formal Queries for Complex Question Answering	http://ws.nju.edu.cn/SubQG/

后续将持续更新，欢迎大家评论补充~

天启AI社区

GitCode 天启AI是一款由 GitCode 团队打造的智能助手，基于先进的LLM（大语言模型）与多智能体 Agent 技术构建，致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话，还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力，真正做到“一句话，让 Al帮你完成复杂任务”。

更多推荐