Pandas transform 徹底解説: グループ処理後の要素数を保った変換！

Pandasでデータを扱う際、特定のグループごとに集計を行いつつも、元のデータフレームの行数や構造を維持したい、という場面に遭遇することがあります。例えば、「各商品の売上を、それが属するカテゴリの平均売上で割って正規化したい」といったケースです。このような、グループごとの計算結果を元のデータフレームの形状に戻す際に非常に強力なのが、Pandasの**transform**メソッドです。

この記事では、Pandas transformの基本的な使い方から、groupby()と組み合わせて真価を発揮する応用テクニックまで、徹底的に解説します。

Pandas transformってどんなもの？

Pandasのtransformメソッドは、groupby()と組み合わせて使用されることが多く、グループごとに何らかの計算（平均、合計、最大値など）を実行し、その結果を元のDataFrame（またはSeries）と同じ形状（インデックスと行数）で返す機能を提供します。

これは、groupby().apply()やgroupby().agg()とは異なる重要な特徴です。

• groupby().agg() (aggregate): グループごとに集約された単一の値を返します（例: グループごとの平均売上）。元の行数より少なくなります。

• groupby().transform(): グループごとの計算結果を、元の行数と同じだけ返します。つまり、グループ内の各要素に対して計算結果をブロードキャスト（複製）します。

transformでできること

• グループ平均による正規化: 各要素を、それが属するグループの平均値で割るなど、グループ全体の統計量を使って個々の値を変換します。

• グループごとのランク付け: 各要素が属するグループ内での順位を計算します。

• 欠損値の補完: グループごとの統計量（平均値など）を使って、そのグループ内の欠損値を補完します。

• 特徴量エンジニアリング: グループの情報を利用した新しい特徴量を作成し、機械学習の前処理に利用します。

なぜtransformを選ぶべきか？

transformを使うことには、以下のようなメリットがあります。

• 直感的なブロードキャスト: グループごとの計算結果を元の形状に自動的にブロードキャストしてくれるため、手動でマージしたり結合したりする手間が省けます。

• コードの簡潔性: 複数ステップの処理を1行で記述できるため、コードが非常に簡潔になります。

• 高速性: 内部的に最適化されており、効率的にグループ処理とブロードキャストを行います。

• 分析の柔軟性: グループのコンテキストを維持しつつ、個々のデータポイントに対して変換を適用できるため、複雑な特徴量エンジニアリングが容易になります。

transformを始めるための準備

1. ライブラリのインポートとデータの準備

transformを使うためには、Pandasライブラリをインポートし、操作したいデータがDataFrame形式で用意されている必要があります。

import pandas as pd

# サンプルデータフレームの作成
# 各店舗の異なる日付での売上データ
data = {
    'Date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02', '2023-01-01', '2023-01-02'],
    'Store': ['A', 'B', 'A', 'B', 'C', 'C'],
    'Sales': [100, 150, 120, 90, 80, 110],
    'Customers': [20, 30, 25, 15, 10, 22]
}
df = pd.DataFrame(data)

print("--- 元のデータフレーム ---")
print(df)
print("\n")

transformの基本的な使い方

transformメソッドは通常、groupby()の直後にチェーンして使用します。

例1: 各店舗の平均売上を元のデータフレームの各行に追加

各行の売上（Sales）が、それが属するStoreの平均売上と比較できるように、平均売上を新しい列として追加します。

# 'Store'ごとに'Sales'の平均を計算し、元の行数に合わせてブロードキャスト
df['Store_Avg_Sales'] = df.groupby('Store')['Sales'].transform('mean')

print("--- 各店舗の平均売上を追加 ---")
print(df)
print("\n")

この結果、Store_Avg_Sales列には、各行が属する店舗の平均売上が表示されます。例えば、Store Aの行にはすべて110.0（(100+120)/2）が表示されているのがわかるでしょう。

transformの応用テクニック

1. 複数の集計関数を適用する

transformに文字列の関数名を渡すだけでなく、NumPy関数やラムダ式、または関数のリストを渡すこともできます。

import numpy as np

# 'Store'ごとに'Sales'の最大値と最小値を新しい列に追加
df['Store_Max_Sales'] = df.groupby('Store')['Sales'].transform('max')
df['Store_Min_Sales'] = df.groupby('Store')['Sales'].transform(np.min) # NumPy関数も使える

print("--- 各店舗の最大・最小売上を追加 ---")
print(df)
print("\n")

2. グループごとの正規化や標準化

グループ内の統計量を使って個々の値を変換する際に非常に強力です。

# 各店舗における、その日の売上が平均売上の何倍か
df['Sales_Ratio_to_Avg'] = df['Sales'] / df.groupby('Store')['Sales'].transform('mean')

# 各店舗における、その日の売上がその店舗の売上内でどこに位置するか (Min-Maxスケーリングの概念)
# ここでは簡単のため、(Sales - Min) / (Max - Min) の形式で正規化
min_sales_by_store = df.groupby('Store')['Sales'].transform('min')
max_sales_by_store = df.groupby('Store')['Sales'].transform('max')
df['Sales_Normalized_by_Store'] = (df['Sales'] - min_sales_by_store) / (max_sales_by_store - min_sales_by_store)

print("--- 各店舗ごとの正規化売上 ---")
print(df[['Store', 'Sales', 'Sales_Ratio_to_Avg', 'Sales_Normalized_by_Store']])
print("\n")

3. グループごとの累積計算や差分計算

時系列データなどで、グループ内での累積和や移動平均などを計算し、元の行数で結果を保持したい場合に便利です。

# DateとStoreでソート (時系列の順番を保証するため)
df_sorted = df.sort_values(by=['Store', 'Date'])

# 各店舗の累積売上 (その日までの合計)
df_sorted['Cumulative_Sales_Store'] = df_sorted.groupby('Store')['Sales'].transform(lambda x: x.cumsum())

# 各店舗の前の日からの売上差分
# diff()はSeriesメソッドなので、transformで適用
df_sorted['Sales_Daily_Diff_Store'] = df_sorted.groupby('Store')['Sales'].transform(lambda x: x.diff())

print("--- 各店舗の累積売上と日次差分 ---")
print(df_sorted[['Store', 'Date', 'Sales', 'Cumulative_Sales_Store', 'Sales_Daily_Diff_Store']])
print("\n")

transformとapply、aggの使い分け

これらのメソッドは似ていますが、それぞれ最適な利用シーンがあります。

• groupby().agg() (or aggregate):

  • グループごとに集約された結果（行数が減る） が欲しい場合。

  • 例: 各店舗の合計売上を知りたい (df.groupby('Store')['Sales'].sum())。

• groupby().transform():

  • グループごとの計算結果を元のDataFrameと同じ形状でブロードキャストしたい場合。

  • 例: 各店舗の平均売上を、元の各行に追加したい。

• groupby().apply():

  • 最も汎用性が高いが、処理が複雑になることもある。

  • グループごとにDataFrame全体に関数を適用し、結果を結合したい場合。

  • transformで実現できることはapplyでも可能だが、transformの方がコードが簡潔で高速なことが多い。

まとめ

この記事では、Pandasでグループごとの計算結果を元のデータフレームの形状に維持する**transform**メソッドについて、その特徴、基本的な使い方、そしてグループ平均による正規化や累積計算といった応用テクニックを徹底的に解説しました。

transformを使いこなすことで、複雑な特徴量エンジニアリングやデータの前処理を、簡潔かつ効率的に実行できるようになります。特に、グループの文脈を活かした分析を行う際に、transformはあなたの強力な味方となるでしょう。