近日，微软公布的一篇新论文提出了一种新架构，它的内部表征（在执行文本问答任务时通过端到端的优化来学习的表征）可以用语言学理论的基本概念来解释。这篇论文的作者之一邓力目前已经离开了微软，加入了对冲基金巨头 Citadel 任首席人工智能科学家。
论文内容：
我们介绍了一种新架构，它的内部表征（在深度学习网络中通过执行文本问答任务来端到端优化而学习到的表征）可以用语言学理论的基本概念来解释。这种可解释性相对于新的基于原模型的准确度只有几个点的降低（BiDAF[1]）。被解释的内部表征是张量积表示（Tensor Product Representation）：对于每个输入词，模型选择一个符号来对词进行编码，一个放置符号的角色（role），然后将它们绑定起来。这种选择是通过软注意（soft attention）模型实现的，总体的解释是由符号的解释所构建的，与训练模型利用的一样，模型也利用对角色的解释。
我们发现了对初始假设的支持，即符号可以被解释为词汇-语义词义（lexical-semantic word meanings），而角色可被解释为对语法角色（或类别）的近似，例如主语、问词、限定词等。通过非常详细的、细粒度的分析，我们发现了在学习到的角色和又标准解析器 [2] 分配的词性之间的特定对应关系，并且在模型的帮助下找到了几个差异。在这个意义上，该模型可以在仅有无语言学相关注释的文本、问题和答案的情况下学习到语法的重要方面：模型没有先验的语言学知识。该模型仅有使用符号和角色来进行表征的方式和以一种大致离散的方式有利于这种使用的归纳偏置。
责任编辑：黄焱林
为您推荐
数字电视“苹果梦”距离我们还有多远？
事实上，在“苹果模式”之前，国内的数字电视公司就已经开始尝试“微软模式”。所谓数字电视“微软模式”，指的就是用中间件的概念替代“微软视窗”的平台，第三方可以在其上开发各种应用，主要是互动应用。而在今年的ICTC上，“苹果模式”也漂洋过海，成为了天柏的榜样，这两种模式成功的前提是数字电视必须实现数字电视网络化。作为第一批“吃螃蟹”的企业，要想实现“微软梦”、“苹果梦”，未来将要面对的问题还有很多。在IT技术人士看来，微软和苹果之所以成为IT界
