import polars as pl
import pandas as pd

df_pd = pd.DataFrame({"a": [1, 2, 3], "v": [10, 20, 30]})
df_pl = pl.DataFrame({"a": [1, 2, 3], "v": [10, 20, 30]})

# 列選択
df_pd["a"]                        # pandas
df_pl.select("a")                 # polars

# 行フィルタ
df_pd[df_pd["a"] > 1]             # pandas
df_pl.filter(pl.col("a") > 1)    # polars

# 列追加
df_pd.assign(new=lambda d: d["v"] * 10)           # pandas
df_pl.with_columns(new=pl.col("v") * 10)          # polars

import polars as pl
import pandas as pd

# "c", "v", "t" 列を持つDataFrameを定義
df_pd = pd.DataFrame({"c": ["x", "y", "x"], "v": [10, 20, 30], "t": [1, 2, 3]})
df_pl = pl.DataFrame({"c": ["x", "y", "x"], "v": [10, 20, 30], "t": [1, 2, 3]})

# pandas
df_pd.groupby("c")["v"].mean()

# polars
df_pl.group_by("c").agg(pl.col("v").mean())

# window関数（pandasのtransform相当）
# pandas
df_pd["count"] = df_pd.groupby("c")["t"].transform(len)

# polars
df_pl.with_columns(
    pl.col("t").count().over("c").alias("count")
)

# 複数集計を一発で書けるのがpolars流！！
df_pl.group_by("c").agg([
    pl.col("v").mean().alias("v_mean"),
    pl.col("v").max().alias("v_max"),
    pl.col("t").count().alias("t_count"),
])

import polars as pl
import pandas as pd

# join用DataFrameを定義
df1 = pd.DataFrame({"id": [1, 2, 3], "val1": ["a", "b", "c"]})
df2 = pd.DataFrame({"id": [1, 2, 4], "val2": ["x", "y", "z"]})
df1_pl = pl.DataFrame({"id": [1, 2, 3], "val1": ["a", "b", "c"]})
df2_pl = pl.DataFrame({"id": [1, 2, 4], "val2": ["x", "y", "z"]})

# pandas
pd.merge(df1, df2, how="left", on="id", suffixes=("_left", "_right"))

# polars
df1_pl.join(df2_pl, how="left", on="id", suffix="_right")

# asof join（時系列データに神！！）
# asof join用にtimestamp・key列を持つDataFrameを別途定義（ソート済みであること）
df1_asof = pl.DataFrame({"timestamp": [1, 2, 3], "key": ["a", "a", "b"], "val": [10, 20, 30]}).sort("timestamp")
df2_asof = pl.DataFrame({"timestamp": [1, 2, 3], "key": ["a", "a", "b"], "ref": [100, 200, 300]}).sort("timestamp")
df1_asof.join_asof(df2_asof, on="timestamp", by="key")

# pandas
df_pd["name"].str.contains("たぬき")
df_pd["name"].str.replace("foo", "bar")
df_pd["name"].str.split(",")

# polars（.str 名前空間はほぼ同じ！）
df_pl["name"].str.contains("たぬき")
df_pl["name"].str.replace("foo", "bar")
df_pl["name"].str.split(",")

# pandas（NaNとNoneが混在してカオスになりがち😭）
df_pd.fillna(0)
df_pd.dropna()

# polars（nullに統一！型安全！！）
df_pl.fill_null(0)       # null → 0
df_pl.fill_nan(0.0)      # NaN → 0.0（float列限定）
df_pl.drop_nulls()       # null行を除去

# スキーマを明示的に宣言できる！！
schema = pl.Schema({
    "id": pl.Int64,
    "name": pl.String,
    "score": pl.Float64,
})

df = pl.read_csv("data.csv", schema=schema)

result = (
    pl.scan_csv("large_file.csv")        # LazyFrameとして読み込み
      .filter(pl.col("age") > 30)        # Predicate Pushdown が効く！
      .select(["name", "age", "score"])  # Projection Pushdown が効く！
      .group_by("name")
      .agg(pl.col("score").mean())
      .collect()                         # ここで初めて実行（最適化済み計画で一括処理）
)

# 実行計画を確認したい時はこれ！
print(
    pl.scan_csv("large_file.csv")
      .filter(pl.col("age") > 30)
      .select(["name", "age", "score"])
      .explain()
)

# Polars → pandas（MLライブラリ・可視化ライブラリへ渡す）
pandas_df = polars_df.to_pandas()

# pandas → Polars（重い集計・join処理の前に変換）
polars_df = pl.from_pandas(pandas_df)

# Apache Arrow経由（ゼロコピー・最高効率！！）
polars_df = pl.from_arrow(pandas_df.to_arrow())

データサイズ > 1GB？
  └─ YES → join/groupby処理 → Polars化の筆頭候補！！★
  └─ NO  → 現状維持でOK（費用対効果を考えよう）

正規表現処理が中心？
  └─ YES → pandas維持を検討（無理して移行しなくていい！！）
  └─ NO  → Polarsの恩恵が大きい

ML/可視化が最終出力？
  └─ YES → Polars処理 → to_pandas() → downstream
  └─ NO  → フルPolarsパイプラインでいけるヨ！！

import polars.testing as pl_testing
import pandas.testing as pd_testing

# polarsで移行後の出力を検証
pl_testing.assert_frame_equal(
    result_polars,
    expected_polars,
    check_dtypes=True,
)

# pandas結果と比較したい場合は変換して突き合わせ
pd_testing.assert_frame_equal(
    result_polars.to_pandas(),
    result_pandas,
    check_dtype=False,   # 型の微妙な差は許容しつつ値を確認
)