OneJane
文章69
标签83
分类12
nlp基本概念及算法

nlp基本概念及算法

整理的一些基本算法及概念

中文自然语言处理的应用、现状和未来(21)

中文自然语言处理的应用、现状和未来(21)

自然语言理解和自然语言生成是自然语言处理的两大内核,机器翻译是自然语言理解方面最早的研究工作。自然语言处理的主要任务是:研究表示语言能力和语言应用的模型,建立和实现计算框架并提出相应的方法不断地完善模型,根据这样的语言模型设计有效地实现自然语言通信的计算机系统,并研讨关于系统的评测技术,最终实现用自然语言与计算机进行通信。目前,具有一定自然语言处理能力的典型应用包括计算机信息检索系统、多语种翻译系统等。

基于ML的中文短文本分类(6)

基于ML的中文短文本分类(6)

对每一条输入数据,判断事情的主体是谁

动手实战中文句法依存分析(16)

动手实战中文句法依存分析(16)

句法分析被用在很多场景中,比如搜索引擎用户日志分析和关键词识别,比如信息抽取、自动问答、机器翻译等其他自然语言处理相关的任务。

基于LSTM轻松生成各种古诗(11)

基于LSTM轻松生成各种古诗(11)

目前循环神经网络(RNN)已经广泛用于自然语言处理中,可以处理大量的序列数据,可以说是最强大的神经网络模型之一。人们已经给 RNN
找到了越来越多的事情做,比如画画和写诗,微软的小冰都已经出版了一本诗集了。

中文命名实体提取(14)

中文命名实体提取(14)

聊天机器人(13)

聊天机器人(13)

自动聊天机器人,也称为自动问答系统,由于所使用的场景不同,叫法也不一样。自动问答(Question Answering,QA)是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。不同于现有搜索引擎,问答系统是信息服务的一种高级形式,系统返回用户的不再是基于关键词匹配排序的文档列表,而是精准的自然语言答案。近年来,随着人工智能的飞速发展,自动问答已经成为倍受关注且发展前景广泛的研究方向。

基于CRF的中文命名实体识别模型实现(15)

基于CRF的中文命名实体识别模型实现(15)

命名实体识别在越来越多的场景下被应用,如自动问答、知识图谱等。非结构化的文本内容有很多丰富的信息,但找到相关的知识始终是一个具有挑战性的任务,命名实体识别也不例外。

基于CRF的中文句法依存分析模型实现(17)

基于CRF的中文句法依存分析模型实现(17)

句法分析是自然语言处理中的关键技术之一,其基本任务是确定句子的句法结构或者句子中词汇之间的依存关系。主要包括两方面的内容,一是确定语言的语法体系,即对语言中合法句子的语法结构给予形式化的定义;另一方面是句法分析技术,即根据给定的语法体系,自动推导出句子的句法结构,分析句子所包含的句法单位和这些句法单位之间的关系。

模型部署上线的几种服务发布方式(18)

模型部署上线的几种服务发布方式(18)

在前面所有的模型训练和预测中,我们训练好的模型都是直接通过控制台或者 Jupyter Notebook来进行预测和交互的,在一个系统或者项目中使用这种方式显然不可能,那在 Web 应用中如何使用我们训练好的模型呢?