Polars库 | 最强 Pandas 平替来了

一、介绍

Polars 是一个用于操作结构化数据的高性能 DataFrame 库，由于 Polars 是从0开始用Rust编写，紧密与机器结合。其矢量化和列式处理可在现代处理器上实现缓存一致性算法和高性能。如果您经常使用 pandas，那么用起 Polars 会感觉很轻松，可以说是平替 Pandas 最有潜质的包。

Polars 在独立的 TPCH 基准测试中与其他几个解决方案进行了基准测试。该基准测试旨在复制实践中使用的数据整理操作。由于其并行执行引擎、高效算法以及 SIMD（单指令、多数据）矢量化的使用，Polars 轻松胜过其他解决方案。与pandas相比，它可以实现30倍以上的性能提升。

Polars 的目标是提供一个闪电般快速的DataFrame库：

• 利用机器上所有可用的内核。
• 优化查询以减少不必要的工作/内存分配。
• 处理比可用 RAM 大得多的数据集。
• 拥有一致且可预测的 API。
• 具有严格的架构（在运行查询之前应该知道数据类型）。

User guide: https://pola-rs.github.io/polars/user-guide/

API reference: https://pola-rs.github.io/polars/py-polars/html/reference/io.html

打开命令行， 执行  polars 安装命令

二、数据读写

Polars 读写数据支持

• 常见的数据文件，如 csv、xlsx、json、parquet ；
• 云存储，如 S3、Azure Blob, BigQuery；
• 数据库，如postgres、mysql

咱们主要分享常见的代码操作

2.1 DataFrame

Run

2.2 csv、excel

• df.write_csv 存入csv
• pl.read_csv  读取csv
• df.write_excel 存入xlsx文件
• pl.read_excel   读取xlsx

Run

注意哦， 此时的 date 字段数据类型是 str

2.3 json/parquet

• df.write_json
• pl.read_json
• df.write_parquet
• pl.read_parquet

Run

注意， 使用 df.write_json 或 df.write_parquet 将数据存入 json、parquet， 都可以保留 date 字段的 datetime 类型。而 csv、xlsx 只会将date字段存储为 str 类型。

三、常用表达式

Expressions是Polars的核心功能， expressions 既可以解决简单的查询，又可以轻松扩展到复杂的查询。下面是 polars 的基本表达式

• pl.col 列选择器
• df.select  结合pl.col， 返回dataframe
• selector  selector选择器
• df.filter 结合pl.col， 返回dataframe
• df.with_columns 结合pl.col， 返回dataframe
• df.grouby  结合pl.col， 返回dataframe

3.1 pl.col

选择某一(多)个字段(列)

Run

Run

3.2  df.select

选择 name 和 birthday 两个字段， 实现该功能有多种写法

Run

polars 即使选择一个字段， 返回的也是dataframe

Run

3.3 df.with_columns

与 df.select 功能类似，但是df.with_columns可以在选择字段的同时，保留之前的字段

Run

Run

3.4  df.filter

筛选出生日是 00 后的记录

Run

3.5 df.groupby

按 性别gender 进行分组功能

Run

分别计算男女学生的bio的文本长度的均值

Run

Run

四、选择器

• cs.integer、cs.string、cs.numeric 、cs.datetime()、cs.temporal() 按照数据格式筛选字段
• cs.contains 、cs.matches 使用正则表达式筛选字段

4.1 按数据格式筛选

筛选出字段数据类型为字符和数字的字段，返回dataframe

Run

筛选出 datetime 格式的字段，返回 dataframe

Run

4.2 cs.contains/ cs.matches

筛选出含 r 字段，返回dataframe

Run

筛选出含 na 或 io 的字段，返回dataframe

Run

五、逻辑条件

pl.when(condition).then(result1).otherwise(result2)

当满足condition时， 值为result1；反之，则result2

Run

六、字符串操作

• pl.col().str.len_chars() 字符长度
• pl.col().str.contains(pat) 是否含某字符(符合pat模式)
• pl.col().str.extract(pat) 提取出符合模式的文本
• pl.col().str.replace(old_pat, new_pat)  把old_pat替换为new_pat
• 
  

6.1 str.len_chars()

计算 bio 的文字长度，计算结果存储到 lenth 字段中

Run

6.2 str.contains()

从 bio 中筛选出含 学习 字眼的记录

Run

6.3 str.extract()

根据负面词典 '躺平|难|毛' 选出负面词, 结果存储到字段 neg

Run