NLP全书电子教案正本书课件全套最全教学教程电子讲义.pptx

安全人机工程学全套课件100.ppt

安全人机工程学课件,引言,为什么要研究安全问题没有任何一种事物是绝对安全的,任何事物中都潜伏着危险因素,通常所说的安全或危险只不过是一种主观的判断.不可能根除一切危险源和危险,可以减少来自现有危险源的危险性,宁可减少总的危险性而不是只彻底去,

《NLP全书电子教案正本书课件全套最全教学教程电子讲义.pptx》由会员分享，可在线阅读，更多相关《NLP全书电子教案正本书课件全套最全教学教程电子讲义.pptx（501页珍藏版）》请在上搜索。

1、,1,NLP基本流程,目录,自然语言处理概述,2,NLP的开发环境,3,自然语言是指汉语、英语、法语等人们日常使用的语言，是自然而然的随着人类社会发展演变而来的语言，而不是人造的语言，它是人类学习生活的重要工具。概括说来，自然语言是指人类社会约定俗成的，并且区别于人工语言（如计算机程序）的语言。,自然语言处理概述,自然语言处理（NLP）是一门以计算机为工具，对书面或口头形式的语言进行各种处理和加工的技术，同时也是研究人与人交际中以及人与计算机交际中语言问题的一门科学。NLP是计算机科学领域以及人工智能领域的一个重要的研究方向，是一门融语言学、计算机科学、数学、统计学于一体的科学。,自然语言处理

2、概述,NLP的发展大致经历了3个阶段。1956年以前的萌芽期1980年1999年的快速发展期21世纪的突飞猛进期图灵测试（Turing Test）：让人和机器进行交流，如果人无法判断自己交流的对象是人还是机器，就说明这个机器有智能了。,NLP的发展历程,二十世纪40年代到50年代之间，在美国还有两个人在进行着重要的研究工作。乔姆斯基：他的主要工作为对形式语言的研究。香农：他的主要工作是基于概率和信息论模型的研究。香农的信息论在概率统计的基础上对语言和计算机语言进行研究。1956年，乔姆斯基提出了上下文无关语法，并将它运用到NLP中。他们的工作直接引起了基于规则和基于概率这两种不同的NLP技术的

3、产生。而这两种不同的NLP方法，又引发了数十年有关基于规则方法和基于概率方法孰优孰劣的争执。,NLP的发展历程,1.萌芽期（1956年以前）,1970年以后统计语言学家的出现使得自然语言处理重获新生，并取得了非凡的成就。采用基于统计的方法，IBM将当时的语音识别率从70%提升到90%，同时语音识别的规模从几百单词上升到几万单词，这样语音识别就有了从实验室走向实际应用的可能。基于统计方法的分词。统计分词的主要思想是把每个词看做是由字组成的，如果相连的字在不同文本中出现的次数越多（概率越大），就证明这段相连的字很有可能就是一个词。例如中文分词：“自然语言处理的基本概念”（自然语言处理 的 基本概念

4、）。,NLP的发展历程,2.发展期（1980年1999年）,20世纪90年代中期，有两件事从根本上促进了自然语言处理研究的复苏与发展。20世纪90年代中期以来，计算机的运行速度和存储量大幅增加，为自然语言处理改善了物质基础，使得语音和语言处理的商品化开发成为可能；1994年Internet商业化和同期网络技术的发展使得基于自然语言的信息检索和信息抽取的需求变得更加突出。从20世纪90年代末到21世纪初，人们逐渐认识到，仅用基于规则或统计的方法是无法成功进行自然语言处理的。基于统计、基于实例和基于规则的语料库技术在这一时期开始蓬勃发展，各种处理技术开始融合，自然语言处理的研究再次繁荣。90年代后

5、，基于统计的自然语言处理开始大放异彩。首先是在机器翻译领域取得了突破，因为引入了许多基于语料库的方法。1990年在芬兰赫尔辛基举办的第13届国际计算语言学会议确定的主题是“处理大规模真实文本的理论、方法与工具”，研究的重心开始转向大规模真实文本了，传统的基于规则的自然语言处理显然力不从心了。,NLP的发展历程,21世纪之后，自然语言处理又有了突飞猛进的变化。2006年，以 Hinton为首的几位科学家历经近20年的努力，终于成功设计出第一个多层神经网络算法一一深度学习。这是一种将原始数据通过一些简单但是非线性的模型转变成更高层次、更加抽象表达的特征学习方法，一定程度上解决了人类处理“抽象概念”

6、这个亘古难题。深度学习在机器翻译、问答系统等多个自然语言处理任务中均取得了不错的成果，相关术也被成功应用于商业化平台中。,NLP的发展历程,3.繁荣期（2000年至今）,NLP研究内容包括很多的分支领域，NLP研究内容包括很多的分支领域，如文本分类、信息抽取、信息检索、信息过滤、自动文摘、智能问答、话题推荐、机器翻译、主题词识别、知识库构建、深度文本表示、命名实体识别、文本生成、文本分析（词法、句法和语法）、舆情分析、自动校对、语音识别与合成等。部分NLP分支领域的介绍如下。机器翻译：计算机具备将一种语言翻译成另一种语言的能力。情感分析：计算机能够判断用户评论是否积极。智能问答：计算机能够正确回答输入的问题。文摘生成：计算机能够准确归纳、总结并产生文本摘要。文本分类：计算机能够采集各种文章，进行主题分析，从而进行自动分类。舆情分析：计算机能够判断目前舆论的导向。知识图谱：知识点相互连接而成的语义网络。,NLP研究内容,机器翻译又称为自动翻译，是利用计算机将一种自然语言转换为另一种自然语言的过程。机器翻译是计算语言学的一个分支，是人工智能的终极目标之一，具有重要的科学研究价值。机器翻译