如何用python中的nltk对英文进行分析和处理

一、如何用python中的nltk对英文进行分析和处理

自然语言处理（NLP）是计算机程序理解和处理人类语言的学科，NLTK（自然语言工具包）是用于NLP应用的Python库。处理非结构化数据前，首先需要预处理文本。本教程将介绍使用NLTK进行文本预处理的任务类型、基本文本分析和可视化方法。

NLTK常用文本处理方法包括标记化、过滤停用词、词干提取、标记词性、词形还原、分块、分块排除和命名实体识别等。

首先，确保已安装Python（推荐Python 3.9），并安装所有需要的库。标记化（Tokenizing）是将文本拆分成单词或句子，便于分析。过滤停用词有助于去除常见但不具意义的词。词干提取（Stemming）将单词还原为基本形式，简化分析。标记词性（Part-of-Speech tagging）标识单词的功能，有助于理解句子结构。词形还原（Lemmatizing）则进一步简化单词形式，便于分类比较。

分块（Chunking）技术识别文本结构，如主谓宾关系。分块排除（Chinking）则用于排除特定结构或词性，如冠词。命名实体识别（NER）用于识别文本中的人、地点、组织等实体。

获取文本后，可以使用NLTK进行分析，如使用Concordance查找单词上下文，Dispersion Plot展示单词分布，Frequency Distribution统计词频，以及Finding Collocations查找常见搭配。

使用NLTK进行文本分析前，需确保已安装库并下载所需语料库。可以使用nltk.download()函数完成此操作。通过上述方法，可以有效分析和处理英文文本。

二、如何用 Python 中的 NLTK 对中文进行分析和处理

1、最近正在用nltk对中文网络商品评论进行褒贬情感分类，计算评论的信息熵（entropy）、互信息（point mutual information）和困惑值（perplexity）等（不过这些概念我其实也还理解不深...只是nltk提供了相应方法）。

2、我感觉用nltk处理中文是完全可用的。其重点在于中文分词和文本表达的形式。

3、中文和英文主要的不同之处是中文需要分词。因为nltk的处理粒度一般是词，所以必须要先对文本进行分词然后再用nltk来处理（不需要用nltk来做分词，直接用分词包就可以了。严重推荐结巴分词，非常好用）。

4、中文分词之后，文本就是一个由每个词组成的长数组：[word1, word2, word3…… wordn]。之后就可以使用nltk里面的各种方法来处理这个文本了。比如用FreqDist统计文本词频，用bigrams把文本变成双词组的形式：[(word1, word2),(word2, word3),(word3, word4)……(wordn-1, wordn)]。

5、再之后就可以用这些来计算文本词语的信息熵、互信息等。

6、再之后可以用这些来选择机器学习的特征，构建分类器，对文本进行分类（商品评论是由多个独立评论组成的多维数组，网上有很多情感分类的实现例子用的就是nltk中的商品评论语料库，不过是英文的。但整个思想是可以一致的）。

7、另外还有一个困扰很多人的Python中文编码问题。多次失败后我总结出一些经验。

8、Python解决中文编码问题基本可以用以下逻辑：

9、utf8（输入）——> unicode（处理）——>（输出）utf8

10、Python里面处理的字符都是都是unicode编码，因此解决编码问题的方法是把输入的文本（无论是什么编码）解码为（decode）unicode编码，然后输出时再编码（encode）成所需编码。

11、由于处理的一般为txt文档，所以最简单的方法，是把txt文档另存为utf-8编码，然后使用Python处理的时候解码为unicode（sometexts.decode('utf8')），输出结果回txt的时候再编码成utf8（直接用str()函数就可以了）。

三、如何用python中的nltk对中文进行分析和处理

1、使用Python的nltk库进行中文文本分析和处理的过程，大致包含以下步骤。首先，需要理解中文特有的分词问题。与英文不同，中文处理通常需要先将文本进行分词，将文本转化为由一个个词组成的序列，如[word1, word2, word3……wordn]。此步骤可直接使用分词包完成，强烈推荐结巴分词工具，它非常高效。

2、分词后，文本转变为一个词序列，即可利用nltk库的工具进行进一步处理。例如，使用FreqDist函数统计词频，或使用bigrams函数将文本转化为双词序列：[(word1, word2),(word2, word3),(word3, word4)……(wordn-1, wordn)]。此过程可以用于计算文本的词语信息熵、互信息等。

3、在获得这些统计信息后，可以利用它们作为特征构建机器学习模型，对文本进行分类。以商品评论为例，评论通常由多个独立评论组成，可使用nltk的中文评论语料库进行情感分类。尽管原始语料库使用英文，但整体思想适用于中文。

4、此外，处理中文文本时，还会遇到Python中的中文编码问题。通常，解决此问题的逻辑为：utf8（输入）——>unicode（处理）——>（输出）utf8。Python处理字符使用的是unicode编码，因此，解决编码问题的关键在于将输入文本解码为unicode，然后在输出时编码为所需格式。对于文本文件，最简便的方法是将文件另存为utf-8编码，之后使用Python读取时先解码为unicode（如sometexts.decode('utf8')），最后输出结果时再编码成utf8（直接用str()函数即可）。

5、在进行中文文本分析和处理时，可以参考这篇文章，它详细介绍了nltk在中文应用的技巧和方法，提供了一个很好的参考。