【機械学習】Python Pandas データ前処理について初心者向けに解説します。

import numpy as np
from pandas import DataFrame,Series

# 開始値1～終了値100の値をランダムに10個持つSeriesを作成する。
series1 = Series(np.random.randint(1,100,10))

# 出力結果
print(series1)
index | data
0    90
1    52
2    33
3    98
4    27
5    42
6    80
7    16
8    47
9    45
dtype: int32

import numpy as np
from pandas import DataFrame,Series

df = pandas.DataFrame(
    {
     "id": range(1,11),
     "data1" : np.random.randint(1,100,10),     
     "data2" : np.random.randint(100,500,10),     
    }
)

# 出力結果
print(df)
   id  data1  data2
0   1     19    394
1   2     90    110
2   3     67    273
3   4     33    355
4   5     51    141
5   6     81    331
6   7     57    110
7   8     26    460
8   9     67    201
9  10     70    120

#最大値、最小値、平均値、標準偏差などの参照
df.describe()

#各列のデータ型の参照
df.info()

#データの先頭数行を閲覧する
df.head()

#データの末尾数行を閲覧する
df.tail()

#データの次元数（何行、何列あるか）
df.shape

# 値の個数
df["column"].value_counts()

# 値の個数（上と同じ）
pd.value_counts(df["column"])

# 列名の一覧①
df.columns

# 列名の一覧②
df.count()

# 欠損値のカウント（"行数 - データの個数"にて求める場合）
# 全体の列の欠損状況を一覧できる。
df_s.shape[0] - df_s.count()

# 欠損値のカウント(特定の列)
df_s["不良内容.1"].isnull().value_counts()

# 欠損値がある行を表示(特定の列に)
df_s.loc[df_s["不良内容.1"].isnull()]

# dfに1個でも欠損値があったら行を削除する
df.dropna(axis = 0, how = 'any', inplace=True)

# 閾値を決めてドロップする（欠損した列を3列以上もつ行を削除する）
# inplaceしないとソースデータに反映されない。
df.dropna(thresh=3,inplace=True)

fillna
df.loc[df["単価"].isna(),"単価"] = 0

# 計算の際に少しでも欠損値があると結果Nanになる。欠損値を無視するオプションを使う。
df.sum(skipna=False)
df.mean(skipna=False)

df_s.duplicated().value_counts()
df_s[df_s.duplicated() == True].count()
# 列単位
df_s[df_s.duplicated() == True ]["部品"].count()

#データ型の参照
df2.info()
#データ型の変換（新しい列の追加にて実現）
df["品番2"] = df["品番"].astype(object)

#データ型の変換(元の列にそのまま代入して変換)
df_s["test"] = df_s["test"].astype(object) # object(string)
df_s["test"] = df_s["test"].astype(str) # object(string)
df_s["test"] = df_s["test"].astype(float) # Float
df_s["test"] = df_s["test"].astype(int) # integer

# 型違いの値を強制的に排除（To Nan）しつつ数値型に変換
df_s["test"] = pd.to_numeric(df_s["test"] , errors="coerce")

#特定の列の抽出（元データの変更はしない）
df[["colB","colD"]]

#正規表現を使って抽出する
tanka_nan = df["単価"].str.extract("(^\D*)", expand=False)
tanka_nan.value_counts()

#「[単価列の値が"バルク品"]の行抽出」且つ　「単価列の列抽出」で抽出
df.loc[df["単価"] == "バルク品","単価"]

# リストから行フィルタし、新しいDFを作る
df2 = df[df["品番"].isin(mylist)]

dftest["grade"] = dftest["品名"].apply(lambda x : x[0:2] )

＃下記の関数を作成する。
＃＃引数の値に“限定”が含まれていたら“限定製品”という文字列を返し、
＃＃引数の値に“新”が含まれていたら“新製品”という文字列を返し、
＃＃引数の値がそれ以外だったら“na”という文字列を返す。
def newitem(x):
  if "限定" in str(x):
    return "限定製品"
  elif "新" in str(x):
    return "新製品"
  else:
    return "na"

＃作成した関数で品名列を評価しながら、新しい列“製品カテゴリ”を作成して結果を返す。
df["製品カテゴリ"] = df["品名"].apply(newitem)

dftest = pd.DataFrame({"prefecture":["hokkaidou","shizuoka","okinawa"],"city":["sapporo","shizuoka","naha"]})
dftest_map = {"hokkaidou":10,"shizuoka":20,"okinawa":30}
dftest["maptest"] = dftest.prefecture.map(dftest_map)
dftest

# 列名の変更 (辞書形式で変更する)
df = df.rename(columns={'品　　　名':'品名'})
# 列名の変更（一番最初の列を変更する）
df.rename(columns={df.columns[0]: "品名"})

df.loc[:,"単価"] = 0

df.loc[df["単価"] == "支給", "単価"] = 0

df["grade"] = df["品名"].str.extract(
"(^[Ａ-Ｚ]{2}|^[A-Z]{2}|^/d/d?／/d+|^\d\d?／\d*)", expand=False)

df.groupby('items').get_group('item_1')
g1 = df.groupby('items')
print(g1.groups)
df.groupby('items').size()
# まとめて集約
df_s.groupby("袋詰場所").agg(np.sum)
# 辞書を使った集約
df_s.groupby("袋詰場所").agg({"総生産数":np.sum, "ロット":"first" })

train["year"]= train["datetime"].apply(lambda x : x.split("-")[0] )

#まずこういう年齢データがあったとする。
ages = [random.randint(0, 100) for i in range(20)]
print(ages)
#[84, 73, 27, 85, 8, 17, 46, 16, 95, 62, 38, 47, 63, 44, 69, 26, 0, 40, 34, 79]

#この年齢データをグループ分けするためのBinsを用意する
bins = np.arange(0,90,10) #連番を生成
print(bin)
# >>> [ 0 10 20 30 40 50 60 70 80]

#カットする
cats = pd.cut(ages, bins)
print(cats)

# [NaN, (70.0, 80.0], (20.0, 30.0], NaN, (0.0, 10.0], ..., (20.0, 30.0], NaN, (30.0, 40.0], (30.0, 40.0], (70.0, 80.0]]
# Length: 20
# Categories (8, interval[int64]): [(0, 10] < (10, 20] < (20, 30] < (30, 40] < (40, 50] < (50, 60] < (60, 70] < (70, 80]]