5

一款Python高性能数据处理工具

 1 year ago
source link: https://xugaoxiang.com/2023/10/02/python-polars/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

Polars 是一个开源的 Python 库，是一个高性能数据处理库，提供了类似于 Pandas 的 API 接口。它在处理大规模数据时表现出色，能够快速执行各种数据操作，如筛选、转换、连接等。

要安装 Polars 库，可以使用 pip 命令




  1. pip install polars pyarrow



下面我们来看看 Polars 库的基本使用方法及示例


创建和加载数据


在 Polars 中，可以使用 polars.DataFrame 对象来表示数据。可以通过多种方式创建和加载数据，如手动创建、从 CSV 文件加载、从 Pandas DataFrame 转换等。以下是一些常用的示例代码





  1. import polars as pl
  2. import pandas as pd
  3. # 创建DataFrame
  4. df = pl.DataFrame({
  5.     'name': ['Alice', 'Bob', 'Charlie'],
  6.     'age': [25, 30, 35]
  7. })
  8. # 从CSV文件加载数据
  9. # df = pl.read_csv('data.csv')
  10. # 从Pandas DataFrame转换
  11. pandas_df = pd.DataFrame({'name': ['Alice', 'Bob', 'Charlie'], 'age': [25, 30, 35]})
  12. df = pl.from_pandas(pandas_df)
  13. print(df)


代码执行的结果为





python polars


数据筛选和过滤


Polars 提供了灵活的筛选和过滤功能，可以根据条件选择特定的行或列。以下是一些示例代码





  1. # 根据条件筛选行
  2. filtered_df = df.filter(pl.col("age") > 30)
  3. # 根据条件筛选列
  4. selected_df = df[['name', 'age']]
  5. print(selected_df)
  6. # 使用多个条件筛选
  7. filtered_df = df.filter((pl.col("age") > 30) & (pl.col("name") == "Bob"))
  8. print(filtered_df)





python polars



Polars 提供了丰富的数据转换和操作功能，如添加新列、重命名列、排序等。以下是一些示例代码





  1. # 添加新列height
  2. df = df.with_columns(pl.Series('height', [160, 170, 180]))
  3. # 重命名age列
  4. df = df.with_columns(pl.col('age').alias('years'))
  5. # 按列进行排序
  6. sorted_df = df.sort('age')
  7. print(sorted_df)





python polars


数据聚合和分组


Polars 支持灵活的数据聚合和分组操作，可以根据指定的列对数据进行分组，并进行各种聚合操作，如求和、计数、平均值等。以下是一些示例代码





  1. import polars as pl
  2. # 创建DataFrame
  3. df = pl.DataFrame({
  4.     'name': ['fish', 'meat', 'fish', 'meat'],
  5.     'price': [25, 30, 35, 40]
  6. })
  7. # 按name列分组，并计算每个类别的平均售价
  8. grouped_df = df.group_by('name').agg(pl.col('price').mean())
  9. print(grouped_df)





python polars



Polars 提供了多种数据连接的方法，如合并两个 DataFrame、连接两个 DataFrame 等。以下是一个示例代码





  1. import polars as pl
  2. # 创建DataFrame
  3. df = pl.DataFrame({
  4.     'name': ['fish', 'meat'],
  5.     'price': [25, 30]
  6. })
  7. df1 = pl.DataFrame({
  8.     'name': ['beef', 'vegetable'],
  9.     'price': [65, 10]
  10. })
  11. # 连接两个DataFrame
  12. joined_df = df.join(df1, on='name', how="outer")
  13. print(joined_df)





python polars


自定义函数和映射


在 Polars 中，可以使用自定义函数和映射来对数据进行复杂的转换和操作。以下是一个示例代码





  1. import polars as pl
  2. # 创建DataFrame
  3. df = pl.DataFrame({
  4.     'name': ['Alice', 'Bob', 'Charlie'],
  5.     'age': [25, 30, 35]
  6. })
  7. # 定义自定义函数
  8. def double_age(age):
  9.     return age * 2
  10. # 应用自定义函数
  11. df = df.with_columns(pl.col('age').map_batches(double_age).alias("double_age"))
  12. print(df)





python polars



在本文中，我们深入介绍了 Polars 库的基本原理和使用方法，并提供了相应的代码示例。通过学习 Polars 库，你将能够高效地处理和分析大规模数据，提高工作效率。更多详细信息可参考官方文档: https://github.com/pola-rs/polars。

		      

	</article

        

        

            

                report
            

        

    







        
Recommend

        



                

    
About Joyk

    
 





Aggregate valuable and interesting links.

Joyk means Joy of geeK