perl 正则表达式 前后冒号什么意思

一、perl 正则表达式 前后冒号什么意思

1、这句中的冒号是正则表达式的定界符,表示两个冒号之间是正则表达式,

2、把冒号换成斜杠是一样的都是定界符,

3、这句程序的意思是如果变量x中有双引号,则把变量x的内容加单引号追加到变量cmd中

4、如果变量x中没有双引号,则什么也不做.

5、完整的程序如下(冒号换成斜杠是一样的,一个有双引号,一个没有双引号)

二、告别正则表达式,这个Python库可以快M倍

FlashText算法是由 Vikash Singh于2017年发表的大规模关键词替换算法，这个算法的时间复杂度仅由文本长度（N）决定，算法时间复杂度为O（N）。

而对于正则表达式的替换，算法时间复杂度还需要考虑被替换的关键词数量（M），因此时间复杂度为O（MxN）。

简而言之，基于FlashText算法的字符串替换比正则表达式替换快M倍以上，这个M是需要替换的关键词数量，关键词越多，FlashText算法的优势就越明显。

下面就给大家介绍如何在 Python中基于 flashtext模块使用 FlashText算法进行字符串查找和替换，如果觉得对你的项目团队很有帮助，请记得帮作者转发一下哦。

开始之前，你要确保Python和pip已经成功安装在电脑上，如果没有，可以访问这篇文章：超详细Python安装指南进行安装。

(可选1)如果你用Python的目的是数据分析，可以直接安装Anaconda：Python数据分析与挖掘好帮手—Anaconda，它内置了Python和pip.

(可选2)此外，推荐大家用VSCode编辑器，它有许多的优点：Python编程的最好搭档—VSCode详细指南。

请选择以下任一种方式输入命令安装依赖：

1. Windows环境打开 Cmd(开始-运行-CMD)。

2. MacOS环境打开 Terminal(command+空格输入Terminal)。

3.如果你用的是 VSCode编辑器或 Pycharm，可以直接使用界面下方的Terminal.

一个最基本的提取关键词的例子如下：

from flashtext import KeywordProcessor

keyword_processor= KeywordProcessor()

keyword_processor.add_keyword('Big Apple','New York')

keyword_processor.add_keyword('Bay Area')

# 3.处理目标句子并提取相应关键词

keywords_found= keyword_processor.extract_keywords('I love Big Apple and Bay Area.')

其中 add_keyword的第一个参数代表需要被查找的关键词，第二个参数是给这个关键词一个别名，如果找到了则以别名显示。

如果你想要替换关键词，只需要调用处理器的 replace_keywords函数：

from flashtext import KeywordProcessor

keyword_processor= KeywordProcessor()

keyword_processor.add_keyword('New Delhi','NCR region')

new_sentence= keyword_processor.replace_keywords('I love Big Apple and new delhi.')

#'I love New York and NCR region.'

如果你需要精确提取，识别大小写字母，那么你可以在处理器初始化的时候设定 sensitive参数:

from flashtext import KeywordProcessor

# 1.初始化关键字处理器,注意设置大小写敏感(case_sensitive)为TRUE

keyword_processor= KeywordProcessor(case_sensitive= True)

keyword_processor.add_keyword('Big Apple','New York')

keyword_processor.add_keyword('Bay Area')

# 3.处理目标句子并提取相应关键词

keywords_found= keyword_processor.extract_keywords('I love big Apple and Bay Area.')

如果你需要获取关键词在句子中的位置，在 extract_keywords的时候添加 span_info=True参数即可：

from flashtext import KeywordProcessor

keyword_processor= KeywordProcessor()

keyword_processor.add_keyword('Big Apple','New York')

keyword_processor.add_keyword('Bay Area')

# 3.处理目标句子并提取相应关键词,并标记关键词的起始、终止位置

keywords_found= keyword_processor.extract_keywords('I love big Apple and Bay Area.', span_info= True)

# [('New York', 7, 16),('Bay Area', 21, 29)]

如果你需要获取当前已经添加的所有关键词，只需要调用处理器的 get_all_keywords函数：

from flashtext import KeywordProcessor

keyword_processor= KeywordProcessor()

keyword_processor.add_keyword('j2ee','Java')

keyword_processor.add_keyword('colour','color')

keyword_processor.get_all_keywords()

# output:{'colour':'color','j2ee':'Java'}

批量添加关键词有两种方法，一种是通过词典，一种是通过数组：

from flashtext import KeywordProcessor

keyword_processor= KeywordProcessor()

# 2.（第一种）通过字典批量添加关键词

"java": ["java_2e","java programing" ],

"product management": ["PM","product manager" ]

keyword_processor.add_keywords_from_dict(keyword_dict)

# 2.（第二种）通过数组批量添加关键词

keyword_processor.add_keywords_from_list(["java","python" ])

keyword_processor.extract_keywords('I am a product manager for a java_2e platform')

# output ['product management','java']

删除关键词也非常简单，和添加类似：

from flashtext import KeywordProcessor

keyword_processor= KeywordProcessor()

"java": ["java_2e","java programing" ],

"product management": ["PM","product manager" ]

keyword_processor.add_keywords_from_dict(keyword_dict)

print(keyword_processor.extract_keywords('I am a product manager for a java_2e platform'))

# ['product management','java']

keyword_processor.remove_keyword('java_2e')

# 5.批量删除关键词，也是可以通过词典或者数组的形式

keyword_processor.remove_keywords_from_dict({"product management": ["PM" ]})

keyword_processor.remove_keywords_from_list(["java programing" ])

# 6.删除了java programing关键词后的效果如下

keyword_processor.extract_keywords('I am a product manager for a java_2e platform')

前面提到在添加关键词的时候第二个参数为其别名，其实你不仅可以指示别名，还可以将额外信息放到第二个参数中：

from flashtext import KeywordProcessor

kp.add_keyword('Taj Mahal',('Monument','Taj Mahal'))

kp.add_keyword('Delhi',('Location','Delhi'))

kp.extract_keywords('Taj Mahal is in Delhi.')

# [('Monument','Taj Mahal'),('Location','Delhi')]

这样，在提取关键词的时候，你还能拿到其他一些你想要在得到此关键词时输出的信息。

Flashtext检测的单词边界一般局限于 w [A-Za-z0-9_]外的任意字符，但是如果你想添加某些特殊字符作为单词的一部分也是可以实现的：

from flashtext import KeywordProcessor

keyword_processor= KeywordProcessor()

keyword_processor.add_keyword('Big Apple')

print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))

keyword_processor.add_non_word_boundary('/')

print(keyword_processor.extract_keywords('I love Big Apple/Bay Area.'))

个人认为这个模块已经满足我们的基本使用了，如果你有一些该模块提供的功能之外的使用需求，可以给 flashtext贡献代码：

附 FlashText与正则相比查询关键词所花费的时间之比：

附 FlashText与正则相比替换关键词所花费的时间之比：

这篇文章如果对你有帮助的话，记得转发一下哦。