読者です 読者をやめる 読者になる 読者になる

次元の海で溺れる

Rとデータ解析と統計手法たちとわたし

【Rでのデータ操作】前処理のための基礎の基礎の基礎【マエショリストのススメ】

失踪を諦めて人混みと日常に戻ってきて数日が経ちました。

生まれてこのかた迷ってばかり。

必死になったってなんにもならない上にかえって損だって
わかっちゃいるんだけど。

                                • -

さて。
札幌に帰還したためR記事のリベンジをします。


定期的にマエショリスト(=狂ったように前処理をする人、たまにお金を稼ぐ)
を名乗っているので、前処理について。

データ分析における前処理とは


世間様の認識とはあまりかけ離れてないとは思うんですが、
私なりの前処理に対する考え方は、

表向きが
>>生のデータを、使用予定の分析の枠組みに適用できる形に整形し直すこと<<

心の中では
>>これが一番時間がかかるんだよもう疲れたよパトラッシュ<<

以上2点。

よくある具体的な前処理としては、

・生データの取得・・・WEBクローリングとか、e-statとか
・バラバラに取ってきた生データの結合・・・マージとか、キーを決めるとか
・外れ値の処理・・・外れ値の判断基準とか、外れ値を変換 or NA or そのままとか
・言語処理系・・・同一単語を漢字に統一するとか、置換とか、専門用語の辞書登録とか
・自動で結合したデータのうち、いらない列やら行やらを削除して投入可能状態にするとか

あとはケースによっていろいろです。


前処理をRでする意味

オープンデータだと、.xls形式とかでデータが取れたりするので、
そのままExcelで処理してしまったりした方が楽な場合も多いです。

が。

データ作業には手戻りが不可欠なので、
その場合のデータのバージョン管理だったり、長期に渡る作業だったりで、

「自分が以前どのような処理をどのような手順で行ったのか」

を残しておいて、「再現性を担保」することは超大事だと思ってます。

でもって、再現性を担保するにゃあ、コードが残ってた方がいいよねと。
でもって、自分はVBAが苦手なのでRでやるよ!と。
どうせ処理後のデータはRに投入しちゃうしね!と。

現場からは以上です。

RでExcelみたいなことがしたい

データ取り込みがしたい

data=read.csv("AAAAA.csv",header=TRUE) #csv形式の取り込み、変数名(ヘッダ)あり
data=read.table("clipboard",header=TRUE) #Excelとかでコピーしたものを取り込み

data=iris #Rにもともと入っているirisデータ読み込み
data=mtcars #Rにもともと入っているmtcarsデータ読み込み
<||

テキストデータはread.txtかな。
とりあえずデータをdataなりなんなり、任意のオブジェクトとして格納します。


**データの中身がみたい

ここからはRにもともと入っているデータである、
mtcarsデータセットを使います。irisでもいいです。

詳細は?mtcarsと打ち込めばヘルプが出ますが、
1973年あたりの車に関するデータが入ったデータセットになってます。

>|r|
mtcars
data=mtcars#mtcarsデータセットをdataとして格納

head(data,10) #格納したデータの上から10行を表示
length(data)  #データの行数を把握
dim(data)     #データの行列数を把握

summary(data) #各変数の分布状況(中央値、平均値やら)
str(data)     #データの構造や変数の型をチェック


#実行

> mtcars #mtcarsデータセット
                     mpg cyl  disp  hp drat    wt  qsec vs am gear carb
Mazda RX4           21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4
Mazda RX4 Wag       21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4
Datsun 710          22.8   4 108.0  93 3.85 2.320 18.61  1  1    4    1
Hornet 4 Drive      21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1
Hornet Sportabout   18.7   8 360.0 175 3.15 3.440 17.02  0  0    3    2
Valiant             18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1
Duster 360          14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4
Merc 240D           24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2
Merc 230            22.8   4 140.8  95 3.92 3.150 22.90  1  0    4    2
Merc 280            19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4
Merc 280C           17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4
Merc 450SE          16.4   8 275.8 180 3.07 4.070 17.40  0  0    3    3
Merc 450SL          17.3   8 275.8 180 3.07 3.730 17.60  0  0    3    3
Merc 450SLC         15.2   8 275.8 180 3.07 3.780 18.00  0  0    3    3
Cadillac Fleetwood  10.4   8 472.0 205 2.93 5.250 17.98  0  0    3    4
Lincoln Continental 10.4   8 460.0 215 3.00 5.424 17.82  0  0    3    4
Chrysler Imperial   14.7   8 440.0 230 3.23 5.345 17.42  0  0    3    4
Fiat 128            32.4   4  78.7  66 4.08 2.200 19.47  1  1    4    1
Honda Civic         30.4   4  75.7  52 4.93 1.615 18.52  1  1    4    2
Toyota Corolla      33.9   4  71.1  65 4.22 1.835 19.90  1  1    4    1
Toyota Corona       21.5   4 120.1  97 3.70 2.465 20.01  1  0    3    1
Dodge Challenger    15.5   8 318.0 150 2.76 3.520 16.87  0  0    3    2
AMC Javelin         15.2   8 304.0 150 3.15 3.435 17.30  0  0    3    2
Camaro Z28          13.3   8 350.0 245 3.73 3.840 15.41  0  0    3    4
Pontiac Firebird    19.2   8 400.0 175 3.08 3.845 17.05  0  0    3    2
Fiat X1-9           27.3   4  79.0  66 4.08 1.935 18.90  1  1    4    1
Porsche 914-2       26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
Lotus Europa        30.4   4  95.1 113 3.77 1.513 16.90  1  1    5    2
Ford Pantera L      15.8   8 351.0 264 4.22 3.170 14.50  0  1    5    4
Ferrari Dino        19.7   6 145.0 175 3.62 2.770 15.50  0  1    5    6
Maserati Bora       15.0   8 301.0 335 3.54 3.570 14.60  0  1    5    8
Volvo 142E          21.4   4 121.0 109 4.11 2.780 18.60  1  1    4    2

> length(data)  #データの行数を把握
[1] 11

> dim(data)     #データの行列数を把握
[1] 32 11
> 
> summary(data) #各変数の分布状況(中央値、平均値やら)
      mpg             cyl             disp             hp             drat             wt             qsec      
Min.   :10.40   Min.   :4.000   Min.   : 71.1   Min.   : 52.0   Min.   :2.760   Min.   :1.513   Min.   :14.50  
1st Qu.:15.43   1st Qu.:4.000   1st Qu.:120.8   1st Qu.: 96.5   1st Qu.:3.080   1st Qu.:2.581   1st Qu.:16.89  
Median :19.20   Median :6.000   Median :196.3   Median :123.0   Median :3.695   Median :3.325   Median :17.71  
Mean   :20.09   Mean   :6.188   Mean   :230.7   Mean   :146.7   Mean   :3.597   Mean   :3.217   Mean   :17.85  
3rd Qu.:22.80   3rd Qu.:8.000   3rd Qu.:326.0   3rd Qu.:180.0   3rd Qu.:3.920   3rd Qu.:3.610   3rd Qu.:18.90  
Max.   :33.90   Max.   :8.000   Max.   :472.0   Max.   :335.0   Max.   :4.930   Max.   :5.424   Max.   :22.90  
       vs               am              gear            carb      
Min.   :0.0000   Min.   :0.0000   Min.   :3.000   Min.   :1.000  
1st Qu.:0.0000   1st Qu.:0.0000   1st Qu.:3.000   1st Qu.:2.000  
Median :0.0000   Median :0.0000   Median :4.000   Median :2.000  
Mean   :0.4375   Mean   :0.4062   Mean   :3.688   Mean   :2.812  
3rd Qu.:1.0000   3rd Qu.:1.0000   3rd Qu.:4.000   3rd Qu.:4.000  
Max.   :1.0000   Max.   :1.0000   Max.   :5.000   Max.   :8.000  

> str(data)     #データの構造や変数の型をチェック

'data.frame':     32 obs. of  11 variables:
$ mpg : num  21 21 22.8 21.4 18.7 18.1 14.3 24.4 22.8 19.2 ...
$ cyl : num  6 6 4 6 8 6 8 4 4 6 ...
$ disp: num  160 160 108 258 360 ...
$ hp  : num  110 110 93 110 175 105 245 62 95 123 ...
$ drat: num  3.9 3.9 3.85 3.08 3.15 2.76 3.21 3.69 3.92 3.92 ...
$ wt  : num  2.62 2.88 2.32 3.21 3.44 ...
$ qsec: num  16.5 17 18.6 19.4 17 ...
$ vs  : num  0 0 1 1 0 1 0 1 1 1 ...
$ am  : num  1 1 1 0 0 0 0 0 0 0 ...
$ gear: num  4 4 4 3 3 3 3 4 4 4 ...
$ carb: num  4 4 1 1 2 1 4 2 2 4 ...

全データのうち、条件に合致するものを抽出したい

#抽出方法は2つ

#①subset関数を使用

> subset(data,data$mpg==23) #mpgが23のデータを全て抽出
[1] mpg  cyl  disp hp   drat wt   qsec vs   am   gear carb
<0> (または長さ 0 の row.names) #無かった・・・


#②dataオブジェクトをいじる。①と答えは同じになります。
data[data$mpg==23]  #mpgが23のデータを全て抽出

#①の応用

> subset(data,data$mpg>23)  #mpgが23より大きいもの

                mpg cyl  disp  hp drat    wt  qsec vs am gear carb
Merc 240D      24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2
Fiat 128       32.4   4  78.7  66 4.08 2.200 19.47  1  1    4    1
Honda Civic    30.4   4  75.7  52 4.93 1.615 18.52  1  1    4    2
Toyota Corolla 33.9   4  71.1  65 4.22 1.835 19.90  1  1    4    1
Fiat X1-9      27.3   4  79.0  66 4.08 1.935 18.90  1  1    4    1
Porsche 914-2  26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
Lotus Europa   30.4   4  95.1 113 3.77 1.513 16.90  1  1    5    2


> subset(data,data$mpg>=23) #mpgが23以上のもの

                mpg cyl  disp  hp drat    wt  qsec vs am gear carb
Merc 240D      24.4   4 146.7  62 3.69 3.190 20.00  1  0    4    2
Fiat 128       32.4   4  78.7  66 4.08 2.200 19.47  1  1    4    1
Honda Civic    30.4   4  75.7  52 4.93 1.615 18.52  1  1    4    2
Toyota Corolla 33.9   4  71.1  65 4.22 1.835 19.90  1  1    4    1
Fiat X1-9      27.3   4  79.0  66 4.08 1.935 18.90  1  1    4    1
Porsche 914-2  26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
Lotus Europa   30.4   4  95.1 113 3.77 1.513 16.90  1  1    5    2
> 




*ほんとに基礎

「こんなの常識だろ」とか
「本読みゃ書いてあるだろ」とか

そんな感じではあるんだけど、個人的にググっても出てきにくくて
(出てきてもなんか七めんどくさい表現してあったり謎の英語だったり)

もうちょっとシンプルな記事あったら便利だよなって
むかし思ってたので。書いた。

〇〇がしたいけどRでどう書くっけ?ってなった時に、
せめて変数名が分かればその後ググりやすくなるし。

ぐらいの。

本当に詳しいことは関数ヘルプ見るなりもっと著名でスペシャルな方のサイト


とかを見て頂ければ。

次回は

**フィールドの追加や削除がしたい

**前処理における条件節の用途

**オブジェクトが増えてきて邪魔だから消したい

**各変数の型の変換


とかまとめる予定~