自然语言Nlp处理--息息

发布时间:2018-09-11 作者:jason

人工智能三大要数,数据、算法、云计算,那对于自然语言处理,也应该少不了这三大类的。数据是铁定需要搜集采集的,对于自然语言处理,那它所对应的数据基本上是以文字为主的数据,字、句、段、文章、聊天语料、百科数据、知识图谱、词库都需要收集并进行无监督学习标注。在对句子进行分析时,系统需要对句子进行分词,然后按照系统所包含的词向量算法输入到人工智能系统中进行训练,如果是提取数据,那就将分好的词及相关意图算法放进训练好的人工智能模型,模型系统返回结果进行使用。

   算法:自然语言处理其实是基于数学层面上进行的处理与分析,需要了解到很多学科的知识,数学上的概率:需要了解概率、条件概率、贝叶斯法则;二项分布、期望、方差;最大似然估计、梯度下降等。还需要使用统计学:建模、数据稀疏问题、回退方法等。然则就是人工智能机器人学习:分类、感知器、支持向量机。语言学:构词、词类、句法、语义;语料库和知识库等。这些都是自然语言基本操作所包含的数据。

 然后就是云计算了,云计算是集合大数据进行的人工智能应用的计算,算法告诉计算机方法,数据提供计算原理,接下来就是计算机通过大数据训练生成算法。

 自然语言处理在算法上是非常容易实现的,你难的是如何利用已有的资源对数据进行有效的处理,以便于使用在相应的场景中。

息息.AI生活.更简单 xixi生活

©2016-2018 成都轻雨科技有限公司 Made in chengdu

蜀ICP备 17039669号-1

更多ai生活 请关注息息公众号