【Rでのデータ操作】前処理のための基礎の基礎の基礎【マエショリストのススメ】
失踪を諦めて人混みと日常に戻ってきて数日が経ちました。
生まれてこのかた迷ってばかり。
必死になったってなんにもならない上にかえって損だって
わかっちゃいるんだけど。
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
- -
-
-
-
-
-
-
-
-
-
-
-
-
-
-
さて。
札幌に帰還したためR記事のリベンジをします。
定期的にマエショリスト（＝狂ったように前処理をする人、たまにお金を稼ぐ）
を名乗っているので、前処理について。
データ分析における前処理とは
世間様の認識とはあまりかけ離れてないとは思うんですが、
私なりの前処理に対する考え方は、
表向きが
>>生のデータを、使用予定の分析の枠組みに適用できる形に整形し直すこと<<
心の中では
>>これが一番時間がかかるんだよもう疲れたよパトラッシュ<<
以上2点。
よくある具体的な前処理としては、
・生データの取得･･･WEBクローリングとか、e-statとか
・バラバラに取ってきた生データの結合･･･マージとか、キーを決めるとか
・外れ値の処理･･･外れ値の判断基準とか、外れ値を変換 or NA or そのままとか
・言語処理系･･･同一単語を漢字に統一するとか、置換とか、専門用語の辞書登録とか
・自動で結合したデータのうち、いらない列やら行やらを削除して投入可能状態にするとか
あとはケースによっていろいろです。
前処理をRでする意味
オープンデータだと、.xls形式とかでデータが取れたりするので、
そのままExcelで処理してしまったりした方が楽な場合も多いです。
が。
データ作業には手戻りが不可欠なので、
その場合のデータのバージョン管理だったり、長期に渡る作業だったりで、
「自分が以前どのような処理をどのような手順で行ったのか」
を残しておいて、「再現性を担保」することは超大事だと思ってます。
でもって、再現性を担保するにゃあ、コードが残ってた方がいいよねと。
でもって、自分はVBAが苦手なのでRでやるよ！と。
どうせ処理後のデータはRに投入しちゃうしね！と。
現場からは以上です。
RでExcelみたいなことがしたい
データ取り込みがしたい
data=read.csv("AAAAA.csv",header=TRUE) #csv形式の取り込み、変数名（ヘッダ）あり data=read.table("clipboard",header=TRUE) #Excelとかでコピーしたものを取り込み data=iris #Rにもともと入っているirisデータ読み込み data=mtcars #Rにもともと入っているmtcarsデータ読み込み <|| テキストデータはread.txtかな。 とりあえずデータをdataなりなんなり、任意のオブジェクトとして格納します。 **データの中身がみたい ここからはRにもともと入っているデータである、 mtcarsデータセットを使います。irisでもいいです。 詳細は?mtcarsと打ち込めばヘルプが出ますが、 1973年あたりの車に関するデータが入ったデータセットになってます。 >|r| mtcars data=mtcars#mtcarsデータセットをdataとして格納 head(data,10) #格納したデータの上から10行を表示 length(data) #データの行数を把握 dim(data) #データの行列数を把握 summary(data) #各変数の分布状況（中央値、平均値やら） str(data) #データの構造や変数の型をチェック #実行 > mtcars #mtcarsデータセット mpg cyl disp hp drat wt qsec vs am gear carb Mazda RX4 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4 Mazda RX4 Wag 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4 Datsun 710 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 Hornet 4 Drive 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1 Hornet Sportabout 18.7 8 360.0 175 3.15 3.440 17.02 0 0 3 2 Valiant 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1 Duster 360 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4 Merc 240D 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2 Merc 230 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2 Merc 280 19.2 6 167.6 123 3.92 3.440 18.30 1 0 4 4 Merc 280C 17.8 6 167.6 123 3.92 3.440 18.90 1 0 4 4 Merc 450SE 16.4 8 275.8 180 3.07 4.070 17.40 0 0 3 3 Merc 450SL 17.3 8 275.8 180 3.07 3.730 17.60 0 0 3 3 Merc 450SLC 15.2 8 275.8 180 3.07 3.780 18.00 0 0 3 3 Cadillac Fleetwood 10.4 8 472.0 205 2.93 5.250 17.98 0 0 3 4 Lincoln Continental 10.4 8 460.0 215 3.00 5.424 17.82 0 0 3 4 Chrysler Imperial 14.7 8 440.0 230 3.23 5.345 17.42 0 0 3 4 Fiat 128 32.4 4 78.7 66 4.08 2.200 19.47 1 1 4 1 Honda Civic 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2 Toyota Corolla 33.9 4 71.1 65 4.22 1.835 19.90 1 1 4 1 Toyota Corona 21.5 4 120.1 97 3.70 2.465 20.01 1 0 3 1 Dodge Challenger 15.5 8 318.0 150 2.76 3.520 16.87 0 0 3 2 AMC Javelin 15.2 8 304.0 150 3.15 3.435 17.30 0 0 3 2 Camaro Z28 13.3 8 350.0 245 3.73 3.840 15.41 0 0 3 4 Pontiac Firebird 19.2 8 400.0 175 3.08 3.845 17.05 0 0 3 2 Fiat X1-9 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1 Porsche 914-2 26.0 4 120.3 91 4.43 2.140 16.70 0 1 5 2 Lotus Europa 30.4 4 95.1 113 3.77 1.513 16.90 1 1 5 2 Ford Pantera L 15.8 8 351.0 264 4.22 3.170 14.50 0 1 5 4 Ferrari Dino 19.7 6 145.0 175 3.62 2.770 15.50 0 1 5 6 Maserati Bora 15.0 8 301.0 335 3.54 3.570 14.60 0 1 5 8 Volvo 142E 21.4 4 121.0 109 4.11 2.780 18.60 1 1 4 2 > length(data) #データの行数を把握 [1] 11 > dim(data) #データの行列数を把握 [1] 32 11 > > summary(data) #各変数の分布状況（中央値、平均値やら） mpg cyl disp hp drat wt qsec Min. :10.40 Min. :4.000 Min. : 71.1 Min. : 52.0 Min. :2.760 Min. :1.513 Min. :14.50 1st Qu.:15.43 1st Qu.:4.000 1st Qu.:120.8 1st Qu.: 96.5 1st Qu.:3.080 1st Qu.:2.581 1st Qu.:16.89 Median :19.20 Median :6.000 Median :196.3 Median :123.0 Median :3.695 Median :3.325 Median :17.71 Mean :20.09 Mean :6.188 Mean :230.7 Mean :146.7 Mean :3.597 Mean :3.217 Mean :17.85 3rd Qu.:22.80 3rd Qu.:8.000 3rd Qu.:326.0 3rd Qu.:180.0 3rd Qu.:3.920 3rd Qu.:3.610 3rd Qu.:18.90 Max. :33.90 Max. :8.000 Max. :472.0 Max. :335.0 Max. :4.930 Max. :5.424 Max. :22.90 vs am gear carb Min. :0.0000 Min. :0.0000 Min. :3.000 Min. :1.000 1st Qu.:0.0000 1st Qu.:0.0000 1st Qu.:3.000 1st Qu.:2.000 Median :0.0000 Median :0.0000 Median :4.000 Median :2.000 Mean :0.4375 Mean :0.4062 Mean :3.688 Mean :2.812 3rd Qu.:1.0000 3rd Qu.:1.0000 3rd Qu.:4.000 3rd Qu.:4.000 Max. :1.0000 Max. :1.0000 Max. :5.000 Max. :8.000 > str(data) #データの構造や変数の型をチェック 'data.frame': 32 obs. of 11 variables: $ mpg : num 21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ... $ cyl : num 6 6 4 6 8 6 8 4 4 6 ... $ disp: num 160 160 108 258 360 ... $ hp : num 110 110 93 110 175 105 245 62 95 123 ... $ drat: num 3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ... $ wt : num 2.62 2.88 2.32 3.21 3.44 ... $ qsec: num 16.5 17 18.6 19.4 17 ... $ vs : num 0 0 1 1 0 1 0 1 1 1 ... $ am : num 1 1 1 0 0 0 0 0 0 0 ... $ gear: num 4 4 4 3 3 3 3 4 4 4 ... $ carb: num 4 4 1 1 2 1 4 2 2 4 ...
全データのうち、条件に合致するものを抽出したい
#抽出方法は２つ #①subset関数を使用 > subset(data,data$mpg==23) #mpgが23のデータを全て抽出 [1] mpg cyl disp hp drat wt qsec vs am gear carb <0 行> (または長さ 0 の row.names) #無かった･･･ #②dataオブジェクトをいじる。①と答えは同じになります。 data[data$mpg==23] #mpgが23のデータを全て抽出 #①の応用 > subset(data,data$mpg>23) #mpgが23より大きいもの mpg cyl disp hp drat wt qsec vs am gear carb Merc 240D 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2 Fiat 128 32.4 4 78.7 66 4.08 2.200 19.47 1 1 4 1 Honda Civic 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2 Toyota Corolla 33.9 4 71.1 65 4.22 1.835 19.90 1 1 4 1 Fiat X1-9 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1 Porsche 914-2 26.0 4 120.3 91 4.43 2.140 16.70 0 1 5 2 Lotus Europa 30.4 4 95.1 113 3.77 1.513 16.90 1 1 5 2 > subset(data,data$mpg>=23) #mpgが23以上のもの mpg cyl disp hp drat wt qsec vs am gear carb Merc 240D 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2 Fiat 128 32.4 4 78.7 66 4.08 2.200 19.47 1 1 4 1 Honda Civic 30.4 4 75.7 52 4.93 1.615 18.52 1 1 4 2 Toyota Corolla 33.9 4 71.1 65 4.22 1.835 19.90 1 1 4 1 Fiat X1-9 27.3 4 79.0 66 4.08 1.935 18.90 1 1 4 1 Porsche 914-2 26.0 4 120.3 91 4.43 2.140 16.70 0 1 5 2 Lotus Europa 30.4 4 95.1 113 3.77 1.513 16.90 1 1 5 2 > *ほんとに基礎 「こんなの常識だろ」とか 「本読みゃ書いてあるだろ」とか そんな感じではあるんだけど、個人的にググっても出てきにくくて （出てきてもなんか七めんどくさい表現してあったり謎の英語だったり） もうちょっとシンプルな記事あったら便利だよなって むかし思ってたので。書いた。 〇〇がしたいけどRでどう書くっけ？ってなった時に、 せめて変数名が分かればその後ググりやすくなるし。 ぐらいの。 本当に詳しいことは関数ヘルプ見るなりもっと著名でスペシャルな方のサイト とかを見て頂ければ。 次回は **フィールドの追加や削除がしたい **前処理における条件節の用途 **オブジェクトが増えてきて邪魔だから消したい **各変数の型の変換 とかまとめる予定～
