时时彩计划软件,时时彩玩法技巧,北京赛车规律数字高手,购彩平台 凤凰彩票

间言语集成模子SLIM无效编码天然言语的重庆时时彩合法学界DeepMind提出空

时间:2018-08-23 23:03来源:未知 作者:admin 点击:
图 6:a) 单个描述编码的 t-SNE,按照分歧摄像机角度着色。b) 统一场景单个描述表征之间的距离,是视点之间角度的函数。c) 从相对弧绘制的聚合表征之间的距离,是这些弧的大小的函

  图 6:a) 单个描述编码的 t-SNE,按照分歧摄像机角度着色。b) 统一场景单个描述表征之间的距离,是视点之间角度的函数。c) 从相对弧绘制的聚合表征之间的距离,是这些弧的大小的函数。蓝色对比不异场景表征,红色对比分歧场景表征。d) 正在分歧的输入前提下,恒定场景和坐标的输出样本。顶部:单个描述(黑色箭头标的目的),底部:来自越来越大的弧的聚合描述。

  图 2:模子图示。表征收集解析多个摄像机坐标拍摄的多视点场景的多个描述和文本描述。所有视点的表征被聚合成一个场景表征向量 r,然后生成收集利用该向量 r 来沉建从新的空中城pk10开户注册坐标看到的场景的图像。

  我们提出了一种模子,该模子进修将单个底层输入的多种描述集成到单个表征中,随后正在多模态设置中操纵该表征生成新数据。

  图 5:上面的图是用于测试表征类似性的场景变换可视图。左下角是根基表征和将四种变换方式中的一种使用于上下文输入而发生的表征之间的余弦距离。左下角采纳不异的阐发方式,但其对象是单个编码器步调生成的表征。黑条代表 95%CI。为了对比,人类的平均排名是 M P A N(Gershman and Tene中国竞彩网um 2015)。

  家喻户晓,空间天然言语恍惚不清,难以计较处置(Kranjec et al. 2014; Haun et al. 2011)。deepmind即便是「behind」如许看似简单的介词也无法明白描述,间言语集成模子SLIM无效编码天然言语的而需要分级处置(graded treatment)。此外,空间概念的词汇化正在分歧言语和文化之间可能存正在很大差别(Haun et al. 2011)。别的,人类正在描述空间体验(Landau and Jackendoff 1993)时以及方位词条理中(Kracht 2002)表达几何属性的方式愈加复杂。研究者虽然对人类类别空间关系的处置、感知和言语理解之间的关系进行了大量研究,但对于若何正在计较上遍码这种关系几乎没有明白的结论(Kosslyn 1987; Johnson 1990; Kosslyn et al. 1998; Haun et al. 2011)。

  图 4:锻炼顶用于锻炼/验证/测试朋分的模子变体的 ELBO 值。人类对视觉场景样本和响应描述之间分歧性的排名。对于 SLIM†(NL + SYN),仅按照天然言语输入计较。

  我们将该模子称为空间言语集成模子(Spatial Language Integrating Model,SLIM)。重庆时时彩合法其灵感来自于生成查询收集(Generative Query Network,Eslami et al. 2018),该收集集成了多个视觉输入,重庆时时彩合法可用于生成不异情况的新视图。为了让表征能编码视点无关的场景描述,设置该模子使之正在建立表征之前不晓得哪个视点会被解码。正在我们的例子里,向模子输入从 n 个分歧视点所看到的场景的文本描述,以编码成场景表征向量。然后,操纵该向量沉建从新视点看到的场景图像。

  前不久,DeepMind 提出生成查询收集 GQN,具备从 2D 画面到 3D 空间的转换能力。近日,Dee79彩票注册pMind 基于 GQN 提出一种新模子,能够捕获空间关系的语义(如 behind、left of 等),此中包含一个基于从场景文本描述来生成场景图像的新型多模态方针函数。成果表白,内部表征对意义不变的描述变换(释义不变)具备稳健性,而视角不变性是该系统的新兴属性。

  我们认为,朝人类程度的理解场景描述能力成长的主要一步是成立可以或许捕获这些不变性的表征。正在本文中,我们引见了一个能进修此类表征的多模态架构。为了锻炼和验证该模子,我们建立了一个 3D 场景的大型数据集,包罗场景和分歧角度的言语描述。我们对学到的表征进行评估,通过从锻炼数据中未看到的角度生成图像并查抄它们能否合适这种新角度下对场景的天然言语描述,来确保它们确实可以或许泛化。我们还发觉,我们进修的表征很合适人类关于场景描述的类似性判断。

  摘要:天然言语处置通过度布式方式正在进修词汇语义方面有了主要进展,可是通过这些方式进修到的表征无法捕获实正在世界中躲藏的特定品种的消息。具体来说,空间关系的编码体例取人类的空间推理不分歧且缺乏视角变换不变性。我们展现了如许一个系统,它可以或许捕获空间关系的语义,如 behind、重庆时时彩合法left of 等。我们的环节贡献是一个基于从场景文本描述来生成场景图像的新型多模态方针,以及一个用于锻炼的新型数据集。我们证明,内部表征对意义不变的描述变换(释义不变)具备稳健性,而视角不变性是该系统的新兴属性。

  图 1:具有对应实值图像的示例描述。如图所示是天然言语(NL)描述和合成言语(SYN)描述。此中保留了标注言语错误。

  如图 2 所示,我们提出的模子由两部门构成:一个表征收集,它从多视点场景的文本描述中生成聚合表征(aggregated representation);一个以场景表征为前提的生成收集,它将场景衬着为新视点下的图像。我们对这两个收集进行了如下描述(详见附录 A)。

  人类可以或许通过天然言语唤起相互脑海里的表征。当人们描述对一个场景的见地时,对话者可以或许构成该场景的心理模子,并想象所描述的对象从分歧的角度看起来是如何的。正在最简单的层面上,若是有人坐正在你面前并描述一个物体位于他们左边,你就晓得它正在你的左边。嵌入天然言语意义的现有模子无法实现如许的视点集成(viewpoint integration)。现实上,重庆时时彩合法学界DeepMind提出空如 Gershman 和 Tene金沙赌场um(2015)所言,从单语语料库中提取的天然言语分布式表征无法理解语义对等,deepmind例如「A 正在 B 前面」等同于「B 正在 A 后面」。

(责任编辑:admin)
顶一?
(0)
0%
踩一?
(0)
0%
------分隔?----------------------------