Natural Language Processing,简称NLP,涉及语言学、计算机科学和人工智能等。
NLP是语言专业学生提高自己市场竞争力的一个比较好的方向。
在NLP中,语言学知识是非常重要的。我们可以从语言学的角度出发,去学习NLP。
首先笔者介绍一个常用的Python/ target=_blank class=infotextkey>Python库:NLTK(Natural Language Toolkit)。其包含了各种用于文本分析、词性标注、句法分析、语义分析等任务的模块和数据集。
词法分析涉及对单词的形态和结构进行分析,包括词干、词形变化和词义。
在NLP中,词干提取是一种常见的词法分析技术,它可以将单词还原为其原始形式。例如,将“running”还原为“run”。
句法分析涉及识别句子中的成分结构和句法关系,帮助理解句子的语法结构。例如,对于句子“The cat chased the mouse”,句法分析可以帮助识别主语(the cat)、谓语(chased)和宾语(the mouse)之间的关系。
语义分析涉及理解文本的意义和语义关系,包括词义消歧、语义角色标注等任务。例如,对于句子“Apple is a company”,语义分析可以帮助识别“Apple”指的是“苹果”还是“苹果公司”。
语用学是研究语言使用的科学,它涉及到语言在特定上下文中的意义、指代、语用规则等方面。NLTK库本身并不直接包含用于语用学分析的工具,但可以用于处理从语用学角度进行分析的文本数据。
补充上图28 : ["Bye, take care. See you soon :) ","It was nice talking to you. See you later :)"] ]
其实很多语言专业的学生想到编程就会想到计算机,想到数学,云云。然后心底立刻打退堂鼓,但我们从上述几个例子中不难发现,就只是对nltk这个python库的简单使用罢了。所以不必害怕,人工智能时代必然有俺们语言专业学生的一席之地。
哦,伟大的AI大人,请让“巴别塔”再现。
特别说明:本文仅供学习交流,如有不妥欢迎后台联系小编。
- END -
原文作者:张子明