5个例子学会Pandas中的字符串过滤

一、5个例子学会Pandas中的字符串过滤

1、文本数据处理在数据分析领域至关重要，尤其在处理文本数据时，需要更多清理步骤以提取有用信息。Pandas库提供了丰富的工具帮助我们实现这一目标，本文将通过实例展示如何使用Pandas进行字符串过滤。

2、在开始之前，我们首先导入Pandas库和数据集。假设我们有一个包含6行4列的DataFrame，接下来我们学习5种用于过滤文本数据的不同方法。

3、第一个方法是检查字符串是否包含特定单词或字符序列，使用Pandas的contains方法查找描述字段包含"used car"的行。为了在DataFrame中找到所有包含"used"和"car"的行，我们需分别查找这两个词，因为它们可能不连接在一起。

4、接下来，我们探讨根据字符串长度进行过滤，假设我们对长度超过15个字符的描述感兴趣。可以使用内置的len函数实现这一目的，或者通过str访问器进行更简便的操作。

5、使用Python的内置函数，如startswith和endswith，可以根据字符串的第一个或最后一个字母进行过滤。此外，我们还能够检查前n个字符，例如，选择以"A-0"开头的行。

6、文本数据处理中，Python内置的字符串函数可以被应用到PandasDataFrames中。例如，过滤价格列中非数字字符，如$和k，可以使用isnumeric函数。同样，保留字母数字字符可以使用isalphanum函数。

7、Pandas的count方法用于计算单个字符或字符序列的出现次数。例如，查找描述栏中"used"出现的次数。

8、通过将count方法与比较操作结合，我们可以进行条件过滤。例如，统计描述栏中"used"的出现次数并进行比较。

9、本文介绍了PandasDataFrames中基于字符串值的5种过滤方法。虽然数值类型的数据分析更常见，但文本数据同样重要且包含有价值信息。文本数据的清理与预处理对于数据分析和建模至关重要。

二、Pandas 数据类型怎么转换为字符串或者数值类型

1、Pandas数据类型转换至字符串或数值类型是数据分析中常见的步骤。首先，对于非数值变量如category类型，如tips数据中的sex、smoker、day和time，为了便于后续处理，通常需要将其转换为字符串。这通过astype方法实现，Python的str、float、int等内置类型，以及Numpy库支持的其他dtype，都可用于数据类型转换。

2、在处理id列时，虽然数值型，但在计算中可能无实际意义，转换为字符串类型更为合适。同样，使用astype方法时，需要注意处理缺失值，如total_bill列，Pandas在尝试转换'missing'值为float时会报错。此时，可以借助pandas的to_numeric函数进行转换，它允许定义错误处理策略，如忽略或替换缺失值。

3、to_numeric函数的另一个特性是向下转型，即当无法直接转换为更高级别的数据类型时，会自动降级。例如，将total_bill转换为float类型时，实际得到的是float32，这意味着在内存占用上有所节省。因此，在处理Pandas数据类型转换时，需要灵活运用astype和to_numeric，以满足数据处理的需求并优化内存使用。

三、最全的pandas面试基础100题目

在进行下面的题目操作时，一定要先导入上面的两个数据分析包 pandas、numpy

1.如何用Python的列表创建一个series?

一个series是一个一维的标记数组，可以容纳任何数据类型(整数、字符串、浮点数、Python对象等)。必须记住，与Python列表不同，一个series总是包含相同类型的数据。

2.如何使用列表创建一个DataFrame?

3.如何使用Series字典对象生成 DataFrame?

4.如何在pandas中创建一个空的DataFrame？

要创建一个完全空的pandas dataframe，我们使用以下操作：

已知有这样的数据，如何进行查看

3.如何快速查看数据的统计摘要?

在panda中建立索引意味着简单地从DataFrame中选择特定的数据行和列。

pandas支持四种类型的多轴索引，它们是:

它们统称为索引器。这些是迄今为止索引数据最常见的方法。这四个函数有助于从DataFrame获取元素、行和列。

2.Pandas定义重新索引(Reindexing)

重新索引会更改DataFrame的行标签和列标签。重新索引意味着使数据符合特定轴上给定的一组标签。

多个操作可以通过像这样的索引来完成:

panda set_index()是一种将列表、序列或dataframe设置为dataframe索引的方法。

DataFrame.set_index(keys, inplace=False)

在本例中，名称列被用作DataFrame的索引列

如输出图像所示，以前索引列是一系列数字

函数的作用是:生成一个新的DataFrame或带有重置索引的Series。

例1：使用 Series.reset_index()函数重置给定Series对象的索引

现在，我们将使用Series.reset_index()函数来重置给定的series对象的索引

从输出中可以看到，该 Series.reset_index()函数已将给定Series对象的索引重置为默认值。它保留了索引，并将其转换为列。

5.1用索引自动对齐新增列的数据：

1.如何得到一个数列的最小值、第25百分位、中值、第75位和最大值?

Pandas dataframe.mean(axis=None)函数返回所请求轴(axis=0代表对列进行求平均值，axis=1代表对行进行求平均值)的值的平均值。

示例:使用 mean()函数查找索引轴上所有观测值的平均值。

让我们使用datafame.mean()函数来查找索引轴上的平均值。

3.如何将函数应用到DataFrame中的每个数据元素?

可以使用 apply()函数以便将函数应用于给定dataframe中的每一行。让我们来看看我们完成这项任务的方式。

4.如何在panda中获得一个DataFrame的行数和列数?

5.如何在panda DataFrame中获得列值的总和?

Pandas dataframe.sum()函数返回所请求轴的值的和

语法: DataFrame.sum(axis=None, skipna=None,)

示例1:使用 sum()函数查找索引轴上所有值的总和

现在求出沿索引轴的所有值的和。我们将跳过计算和时的NaN值。

如何将新行追加到pandas DataFrame？

Pandas dataframe.append()函数的作用是:将其他dataframe的行追加到给定的dataframe的末尾，返回一个新的dataframe对象。

DataFrame.append( ignore_index=False,)

示例1：创建两个数据框，然后将第二个附加到第一个。

请注意，第二个DataFrame的索引值保留在附加的DataFrame中。如果我们不希望发生这种情况，则可以设置ignore_index= True。

“group by”指的是涵盖下列一项或多项步骤的处理流程：

1.先分组，再用 sum()函数计算每组的汇总数据：

2.多列分组后，生成多层索引，也可以应用 sum函数：

如何将numpy数组转换为给定形状的DataFrame?

透视表是一种可以对数据动态排布并且分类汇总的表格格式，在pandas中它被称作pivot_table。

pivot_table(data, values=None, index=None, columns=None)

用上述数据生成数据透视表非常简单：

1.如何将列添加到pandas DataFrame？

2.如何向panda DataFrame添加索引、行或列?

如果您创建了一个DataFrame, panda允许将输入添加到索引参数中。它将确保您拥有所需的索引。否则，在默认情况下，DataFrame包含一个数值索引，该索引从0开始，在DataFrame的最后一行结束。

我们可以使用.loc、iloc和ix将行、列插入到DataFrame中。

3.如何在panda DataFrame上进行迭代?

您可以通过结合使用for循环和对DataFrame的iterrows()调用来遍历DataFrame的行。

我们可以通过以下几种有效地在DataFrame中执行排序：

可以使用sort_index()方法对数据dataframe进行排序。可以通过传递axis参数和排序顺序来实现。默认情况下，按升序对行标签进行排序。