什么使自然语言处理变得困难?

发布时间:2018-10-31 作者:jason

语言的主要问题是:

自然语言不是由一个人或一个委员会设计的。编程语言的设计只考虑一件事:计算机必须明确地理解它。

每天有数百万或数十亿人使用某种语言。每个人都以略微(或非常)不同的方式使用它。

语言每天都在变化,新词,新规则等等。

令牌数量不固定。自然语言可以有数十万个不同的单词,即时创建新单词,portmanteaus(例如滞胀)会增加这种复杂性。

根据具体情况,词语可以有不同的含义,它们可以随着时间的推移获得新的含义(苹果[水果],苹果[公司],他们甚至可以改变他们的词性(谷歌 - >谷歌)。

无法以明确的方式定义单词。2 = 1 + 1,但你如何定义例如family =?爱=?对于我们日常使用的大多数概念,没有通用的定义。

自然语言有历史,但它们没有版本化(例如Python 2.7,Python 3.3)。它们可以标准化,但你不能指望每个人都这样使用它们。没有人拥有自然语言,没有人可以强迫任何人以某种方式使用语言。

方言,社会选择,语音寄存器是复杂性的一个重要因素。

语言嵌入社会。在某些语言中,当您与高于或低于层次结构级别的人交谈时,您会对同一事物使用不同的单词。

我们不仅使用语言来传达事实。我们用它来诱惑,挑衅,开玩笑,承认爱情,表达仇恨,有时候我们会说一些毫无意义的事情。我们对语言的使用有许多潜在的层面,文化参照和隐藏的意义,象征。

语言几乎总是以凌乱的方式使用。我很确定在输入时我至少犯了5个错误。正确使用语言需要教育和经验,而不是所有人都有。

以计算机友好的方式建模自然语言是一件非常复杂的事情。我们今天使用的统计模型只是表面上看,模型深度语义尚未实现。

电脑不懂字。他们不像我们那样理解他们的真实含义。


息息.AI生活.更简单 xixi生活

©2016-2018 成都轻雨科技有限公司 Made in chengdu

蜀ICP备 17039669号-1

更多ai生活 请关注息息公众号