# pip3の場合（推奨）
pip3 install pandas

# python3 -m pipの場合（pip3が見つからない場合）
python3 -m pip install pandas

# condaの場合（conda環境が有効な場合のみ）
# conda install pandas

# バージョン確認
python3 -c "import pandas as pd; print(pd.__version__)"

pip3 install jupyter
jupyter notebook

import pandas as pd
import numpy as np

# バージョン確認
print(pd.__version__)

# 簡単な動作テスト
data = {'名前': ['たぬき', 'きつね', 'うさぎ'],
        '年齢': [40, 35, 28]}
df = pd.DataFrame(data)
print(df)

import pandas as pd

# Seriesの作成
s = pd.Series([10, 20, 30, 40], index=['A', 'B', 'C', 'D'])
print(s)
# A    10
# B    20
# C    30
# D    40

# 要素へのアクセス
print(s['B'])   # → 20
print(s[1])     # → 20（位置でもアクセス可能）

import pandas as pd

# 辞書からDataFrameを作成
data = {
    '商品名': ['リンゴ', 'バナナ', 'みかん'],
    '価格': [150, 120, 80],
    '在庫': [100, 50, 200]
}
df = pd.DataFrame(data)
print(df)
#    商品名  価格   在庫
# 0  リンゴ  150  100
# 1  バナナ  120   50
# 2  みかん   80  200

# データ型の確認
print(df.dtypes)

# 型変換の基本
df['価格'] = df['価格'].astype('int32')  # メモリ節約になる

import pandas as pd

# 基本的な読み込み
df = pd.read_csv('sales_data.csv')

# よく使うオプション
df = pd.read_csv(
    'sales_data.csv',
    encoding='utf-8',          # 文字コード指定
    usecols=['日付', '売上', '商品名'],  # 必要な列だけ読む
    dtype={'売上': 'int32'}    # 型を明示指定
)

# Shift-JISの場合
df = pd.read_csv('data.csv', encoding='shift-jis')

# BOM付きUTF-8の場合（Excelから書き出したやつ）
df = pd.read_csv('data.csv', encoding='utf-8-sig')

# 先頭5行を表示
print(df.head())

# 末尾3行を表示
print(df.tail(3))

# 行数・列数を確認
print(df.shape)   # → (1000, 5) みたいな感じ

# 各列のデータ型を確認
print(df.dtypes)

# 数値列の統計サマリー
print(df.describe())
# → count, mean, std, min, 25%, 50%, 75%, max が一覧表示

# データ型含む全体情報
print(df.info())

# 1列だけ取り出す（Seriesが返る）
price = df['価格']

# 複数列を取り出す（DataFrameが返る）
subset = df[['商品名', '価格']]

# loc：ラベル（インデックス名）で指定
df.loc[0]           # インデックスが0の行
df.loc[0:3]         # インデックス0〜3（3を含む！）
df.loc[0, '商品名']  # 0行目の「商品名」列

# iloc：整数の位置で指定
df.iloc[0]          # 先頭行（0番目）
df.iloc[0:3]        # 0〜2行目（3は含まない！）
df.iloc[0, 1]       # 0行目の1列目

# 価格が100以上の行だけ取り出す
high_price = df[df['価格'] >= 100]

# 複数条件（&はAND、|はOR）
result = df[(df['価格'] >= 100) & (df['在庫'] > 50)]

# query()でもっと読みやすく書ける
result = df.query('価格 >= 100 and 在庫 > 50')

# 欠損値の個数を列ごとに確認
print(df.isnull().sum())

# 欠損行を削除
df_clean = df.dropna()

# 欠損値を補完
df['売上'].fillna(0, inplace=True)                    # 固定値で補完
df['売上'].fillna(df['売上'].mean(), inplace=True)    # 平均値で補完
df['売上'].fillna(method='ffill', inplace=True)       # 前の値で補完

# 重複行を確認
print(df.duplicated().sum())

# 重複を削除
df = df.drop_duplicates()

# 列名を変更
df = df.rename(columns={'古い名前': '新しい名前', '売上': 'sales'})

# 新しい列を追加（計算結果など）
df['税込価格'] = df['価格'] * 1.1

# 不要な列を削除
df = df.drop(columns=['不要列1', '不要列2'])

# 値でソート（降順）
df = df.sort_values('売上', ascending=False)

# 日付型に変換
df['日付'] = pd.to_datetime(df['日付'])

# メモリ節約のための型最適化
df['売上'] = df['売上'].astype('int32')

# 商品別に売上を合計
result = df.groupby('商品名')['売上'].sum()
print(result)

# 複数列でグループ化して複数集計
result = df.groupby(['地域', '商品名']).agg({
    '売上': 'sum',
    '数量': 'mean'
})
print(result)

# カテゴリの出現回数を確認
print(df['地域'].value_counts())

# 割合（%）で表示
print(df['地域'].value_counts(normalize=True) * 100)

# 数値列間の相関係数を一覧表示
correlation = df.corr(numeric_only=True)
print(correlation)

# 日付をインデックスに設定
df = df.set_index('日付')

# 月次で集計（resample）
monthly = df['売上'].resample('ME').sum()

# 7日移動平均を計算
df['移動平均'] = df['売上'].rolling(window=7).mean()

import pandas as pd
import numpy as np

# 練習用データを生成
np.random.seed(42)
dates = pd.date_range('2025-01-01', periods=100, freq='D')
products = np.random.choice(['リンゴ', 'バナナ', 'みかん', 'ぶどう'], 100)
sales = np.random.randint(1000, 50000, 100)
quantities = np.random.randint(1, 100, 100)

df = pd.DataFrame({
    '日付': dates,
    '商品名': products,
    '売上': sales,
    '数量': quantities
})

# 意図的に欠損値を作成（現実のデータっぽくするため）
df.loc[np.random.choice(df.index, 10), '売上'] = np.nan

print(df.head())
print(df.shape)

# 欠損値の確認
print("欠損値の数:")
print(df.isnull().sum())

# 欠損値を平均値で補完
df['売上'] = df['売上'].fillna(df['売上'].mean())

# 重複確認と削除
print(f"重複行数: {df.duplicated().sum()}")
df = df.drop_duplicates()

# 日付型の確認（既にdatetime型だが念のため）
df['日付'] = pd.to_datetime(df['日付'])

print("データクレンジング完了")
print(df.dtypes)

# 商品別の売上合計
product_sales = df.groupby('商品名')['売上'].sum().sort_values(ascending=False)
print("=== 商品別売上ランキング ===")
print(product_sales)

# 月別の売上推移
df['月'] = df['日付'].dt.month
monthly_sales = df.groupby('月')['売上'].sum()
print("\n=== 月別売上合計 ===")
print(monthly_sales)

# 基本統計量の確認
print("\n=== 売上の基本統計 ===")
print(df['売上'].describe())

import matplotlib.pyplot as plt
import matplotlib

# 日本語フォント設定（文字化け防止）
matplotlib.rcParams['font.family'] = 'IPAexGothic'

# 棒グラフ：商品別売上
product_sales.plot(kind='bar', title='商品別売上合計', figsize=(8, 5))
plt.ylabel('売上（円）')
plt.tight_layout()
plt.savefig('product_sales.png')
plt.show()

# 折れ線グラフ：月別推移
monthly_sales.plot(kind='line', marker='o', title='月別売上推移')
plt.show()

# ヒストグラム：売上の分布
df['売上'].plot(kind='hist', bins=20, title='売上分布')
plt.show()

# 散布図：数量と売上の関係
df.plot(kind='scatter', x='数量', y='売上', title='数量 vs 売上')
plt.show()

# NG：警告が出る可能性がある書き方
subset = df[df['価格'] >= 100]
subset['税込価格'] = subset['価格'] * 1.1

# OK：.copy()を使った正しい書き方
subset = df[df['価格'] >= 100].copy()
subset['税込価格'] = subset['価格'] * 1.1

# NG：ループで処理（遅い）
for i in df.index:
    df.loc[i, '税込価格'] = df.loc[i, '価格'] * 1.1

# OK：ベクトル演算で処理（メッチャ速い）
df['税込価格'] = df['価格'] * 1.1

# 大量データはchunkに分割して読み込む
for chunk in pd.read_csv('huge_data.csv', chunksize=10000):
    process(chunk)