Quantcast
Channel: InfoQ - 促进软件开发领域知识与创新的传播
Viewing all articles
Browse latest Browse all 1638

Facebook提出基于模型的交互式语义分析框架,自然语言生成SQL语句准确率提升10%

$
0
0

交互式语义分析是最近的研究热点,通过与用户的交互提升语义理解的准确性。Facebook AI研究院研究人员最近提出了一种新的、统一的交互式语义分析方法,通过设计一个基于模型的智能代理(agent),与现有方法相比,可以在减少用户交互次数的同时提升解析精度。 本文是AI前线第98篇论文导读,我们将对这项研究工作进行详细解读。

概览

允许用户无需编程即可查询数据和调用服务的自然语言界面已被认为是语义分析的关键应用。然而,现有的语义解析技术在实际应用中往往存在不足,面临着若干挑战:(1)用户话语可能存在歧义或含糊,难以一次性得到正确的结果;(2)现有语义分析工具的准确率仍然不够高,无法真正使用;(3)用户很难验证语义分析结果,特别是缺乏可解释的主流神经网络模型。

针对这些挑战,近期交互式语义分析作为一种实用的解决方案被提出,它将用户包含在循环交互中,通过人机协作来解决话语歧义、提升系统的准确性。例如,Gur等人开发了DialSQL系统来检测生成SQL查询中的错误,并通过对话请求用户选择备选选项。同样,Chaurasia和Mooney等人提出了一个语义分析器,在生成If-Then程序时,询问用户来澄清问题。Su等人的工作表明,对于自然语言界面到Web API,大部分用户倾向于使用交互式系统,而不是非交互式系统。近年来的研究也成功地证明了交互式语义分析在实际应用中的价值,但往往受限于某种形式的语言或数据集,因此,这些设计是特别(ad-hoc)定制的,不是通用的。例如,DialSQL仅适用于WikiSQL数据集上的SQL查询,将其扩展到其他形式语言甚至是更复杂的SQL查询都非常困难。

为了建立交互式语义分析系统的通用原则,本文提出了基于模型的交互式语义分析(MISP),其目标是设计一个基于模型的智能代理,该智能代理可以与用户交互以完成语义分析任务。代理以一个话语作为输入,智能代理逐步构建语义分析(例如,一个SQL查询),可能在某些步骤中请求用户反馈以纠正分析错误。如图1所示,MISP代理将维护其状态为当前语义解析,并通过错误检测器决定是否需要人工干预以及在哪里需要人工干预。此操作由问题生成器(actuator)执行,该生成器生成并向用户呈现一个可理解的问题。代理的核心组件是一个世界模型(world model,Ha和Schmidhuber等人在2018提出),它将从环境中整合用户反馈并传输到一个新的代理状态(例如,一个更新的语义解析)。重复此过程,直到达到最终状态。这种设计赋予了MISP代理交互语义分析三个重要特性:(1)对推理过程进行内省,知道何时需要人的监督;(2)能够以人性化的方式征求用户反馈,(3)能够整合用户反馈(通过由世界模型控制的状态转换)。

image


Viewing all articles
Browse latest Browse all 1638

Trending Articles