Rでデータの変更を後押し

R言語は、統計家やデータサイエンティストの言語として認識されることがよくあります。 かなり昔、これはほとんど真実でした。 ただし、長年にわたって、Rがパッケージを介して提供する柔軟性により、Rはより汎用的な言語になりました。 Rは1995年にオープンソース化され、それ以来、Rパッケージのリポジトリは絶えず成長しています。 それでも、Pythonのような言語と比較すると、Rはデータに強く基づいています。

データについて言えば、表形式のデータは最も一般的に使用されるデータ型の1つであるため、特に注意を払う必要があります。 これは、データベースで知られているテーブル構造に対応するデータ型であり、各列は異なるタイプである可能性があり、その特定のデータ型の処理パフォーマンスは多くのアプリケーションにとって重要な要素です。

この記事では、表形式のデータ変換を効率的に実現する方法を紹介します。 すでに機械学習にRを使用している多くの人は、Rでデータの変更をより高速に実行できること、およびRで別のツールを使用する必要がないことを認識していません。

Rの高性能ソリューション

Base Rは、1997年にdata.frameクラスを導入しました。これは、それ以前のS-PLUSに基づいていました。 データを行ごとに格納する一般的に使用されるデータベースとは異なり、R data.frameはデータを列指向の構造としてメモリに格納するため、分析で一般的な列操作のキャッシュ効率が向上します。 さらに、Rは関数型プログラミング言語ですが、開発者にそれを強制するものではありません。 両方の機会は、CRANリポジトリで利用可能なdata.tableパッケージによって適切に対処されています。 操作をグループ化するときに非常に高速に実行され、特定のタスクに必要な列のみをマテリアライズするなど、中間データサブセットのマテリアライズに注意することで特にメモリ効率が高くなります。 また、列を追加または更新する際の参照セマンティクスを通じて、不要なコピーを回避します。 パッケージの最初のバージョンは2006年4月に公開され、当時のdata.frameのパフォーマンスが大幅に向上しました。 最初のパッケージの説明は次のとおりです。

このパッケージはほとんど何もしません。 その存在の唯一の理由は、ホワイトブックがdata.frameに行名が必要であると指定していることです。 このパッケージは、data.frameと同じように動作するが、使用するメモリが最大10倍少なく、作成（およびコピー）が最大10倍高速になる新しいクラスdata.tableを定義します。 また、[]内の式のようなsubset（）およびwith（）を許可する機会もあります。 ほとんどのコードは、row.namesを操作するコードが削除された状態で基本関数からコピーされます。

それ以来、 data.frameとdata.tableの両方の実装が改善されましたが、 data.tableはベースRよりも信じられないほど高速なままです。実際、 data.tableはベースRよりも高速であるだけでなく、1つのように見えます。利用可能な最速のオープンソースデータラングリングツールの1つであり、Python Pandasなどのツールや、列型ストレージデータベースまたはSparkなどのビッグデータアプリと競合します。 分散共有インフラストラクチャでのパフォーマンスはまだベンチマークされていませんが、単一のインスタンスで最大20億行を使用できることで、有望な見通しが得られます。 卓越したパフォーマンスは、機能と密接に関連しています。 さらに、パフォーマンスを向上させるために時間のかかる部分を並列化する最近の取り組みにより、パフォーマンスの限界を押し上げるための1つの方向性は非常に明確に見えます。

データ変換の例

Rはインタラクティブに機能するため、学習が少し簡単になります。そのため、例を段階的に追って、いつでも各ステップの結果を確認できます。 始める前に、CRANリポジトリからdata.tableパッケージをインストールしましょう。

 install.packages("data.table")

役立つヒント：先頭に疑問符を付けて名前を入力するだけで、任意の関数のマニュアルを開くことができます（例： ?install.packages ）。

Rへのデータのロード

さまざまな形式やデータベースからデータを抽出するためのパッケージがたくさんあり、多くの場合、ネイティブドライバーが含まれています。 生の表形式データの最も一般的な形式であるCSVファイルからデータをロードします。 次の例で使用されているファイルは、ここにあります。 fread関数はCSVで高度に最適化されているため、 CSVの読み取りパフォーマンスを気にする必要はありません。

パッケージの関数を使用するには、 library呼び出しで関数をロードする必要があります。

 library(data.table) DT <- fread("flights14.csv") print(DT)

 ## year month day dep_delay arr_delay carrier origin dest air_time ## 1: 2014 1 1 14 13 AA JFK LAX 359 ## 2: 2014 1 1 -3 13 AA JFK LAX 363 ## 3: 2014 1 1 2 9 AA JFK LAX 351 ## 4: 2014 1 1 -8 -26 AA LGA PBI 157 ## 5: 2014 1 1 2 1 AA JFK LAX 350 ## --- ## 253312: 2014 10 31 1 -30 UA LGA IAH 201 ## 253313: 2014 10 31 -5 -14 UA EWR IAH 189 ## 253314: 2014 10 31 -8 16 MQ LGA RDU 83 ## 253315: 2014 10 31 -4 15 MQ LGA DTW 75 ## 253316: 2014 10 31 -5 1 MQ LGA SDF 110 ## distance hour ## 1: 2475 9 ## 2: 2475 11 ## 3: 2475 19 ## 4: 1035 7 ## 5: 2475 13 ## --- ## 253312: 1416 14 ## 253313: 1400 8 ## 253314: 431 11 ## 253315: 502 11 ## 253316: 659 8

データがロングからワイドまたはワイドからロング（ピボットおよびアンピボットとも呼ばれる）形式に再形成する必要があるため、データがさらに処理するために適切にモデル化されていない場合は、 ?dcastおよび?melt関数を調べることができます。 reshape2パッケージから知られています。 ただし、 data.tableは、data.table/data.frameクラスに対してより高速でメモリ効率の高いメソッドを実装します。

data.table構文を使用したクエリ

data.frameに精通している場合

クエリdata.tableは、クエリdata.frameと非常によく似ています。 i引数でフィルタリングしている間、 df[df$col > 1, ]のように、 $記号で列名にアクセスすることなく、列名を直接使用できます。 次の引数jを指定するときは、 data.tableのスコープで評価される式を指定します。 非式のj引数を渡すには、 with=FALSE使用します。 data.frameメソッドには存在しない3番目の引数は、グループを定義し、 jの式をグループによって評価されるようにします。

 # data.frame DF[DF$col1 > 1L, c("col2", "col3")] # data.table DT[col1 > 1L, .(col2, col3), ...] # by group using: `by = col4`

データベースに精通している場合

クエリdata.tableは、多くの面で、より多くの人が精通している可能性のあるSQLクエリに対応しています。 以下のDTは、 data.tableオブジェクトを表し、SQLのFROM句に対応します。

 DT[ i = where, j = select | update, by = group by] [ having, ... ] [ order by, ... ] [ ... ] ... [ ... ] 

行の並べ替えと列の並べ替え

データの並べ替えは時系列の重要な変換であり、データの抽出と表示のためのインポートでもあります。 並べ替えは、 data.frameと同じように、行の順序の整数ベクトルをi引数に指定することで実現できます。 クエリorder(carrier, -dep_delay)の最初の引数は、 carrierフィールドで昇順、 dep_delayメジャーで降順でデータを選択します。 前のセクションで説明したように、2番目の引数jは、返される列（または式）とその順序を定義します。

 ans <- DT[order(carrier, -dep_delay), .(carrier, origin, dest, dep_delay)] head(ans)

 ## carrier origin dest dep_delay ## 1: AA EWR DFW 1498 ## 2: AA JFK BOS 1241 ## 3: AA EWR DFW 1071 ## 4: AA EWR DFW 1056 ## 5: AA EWR DFW 1022 ## 6: AA EWR DFW 989

参照によってデータを並べ替えるには、特定の順序でデータをクエリする代わりに、 set*関数を使用します。

 setorder(DT, carrier, -dep_delay) leading.cols <- c("carrier","dep_delay") setcolorder(DT, c(leading.cols, setdiff(names(DT), leading.cols))) print(DT)

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: AA 1498 2014 10 4 1494 EWR DFW 200 ## 2: AA 1241 2014 4 15 1223 JFK BOS 39 ## 3: AA 1071 2014 6 13 1064 EWR DFW 175 ## 4: AA 1056 2014 9 12 1115 EWR DFW 198 ## 5: AA 1022 2014 6 16 1073 EWR DFW 178 ## --- ## 253312: WN -12 2014 3 9 -21 LGA BNA 115 ## 253313: WN -13 2014 3 10 -18 EWR MDW 112 ## 253314: WN -13 2014 5 17 -30 LGA HOU 202 ## 253315: WN -13 2014 6 15 10 LGA MKE 101 ## 253316: WN -13 2014 8 19 -30 LGA CAK 63 ## distance hour ## 1: 1372 7 ## 2: 187 13 ## 3: 1372 10 ## 4: 1372 6 ## 5: 1372 7 ## --- ## 253312: 764 16 ## 253313: 711 20 ## 253314: 1428 17 ## 253315: 738 20 ## 253316: 397 16

ほとんどの場合、元のデータセットと順序付け/並べ替えられたデータセットの両方は必要ありません。 デフォルトでは、R言語は、他の関数型プログラミング言語と同様に、並べ替えられたデータを新しいオブジェクトとして返すため、参照による並べ替えの2倍のメモリが必要になります。

サブセットクエリ

フライトの起点「JFK」と6から9までの月のサブセットデータセットを作成しましょう。2番目の引数では、結果をリストされた列にサブセット化し、計算された変数sum_delayを1つ追加します。

 ans <- DT[origin == "JFK" & month %in% 6:9, .(origin, month, arr_delay, dep_delay, sum_delay = arr_delay + dep_delay)] head(ans)

 ## origin month arr_delay dep_delay sum_delay ## 1: JFK 7 925 926 1851 ## 2: JFK 8 727 772 1499 ## 3: JFK 6 466 451 917 ## 4: JFK 7 414 450 864 ## 5: JFK 6 411 442 853 ## 6: JFK 6 333 343 676

デフォルトでは、単一列にデータセットをサブセット化すると、 data.tableはその列のインデックスを自動的に作成します。 これにより、その列でさらにフィルタリングを行うと、リアルタイムで回答が得られます。

データセットを更新する

参照による新しい列の追加は、 :=演算子を使用して実行され、データセットに変数を割り当てます。 これにより、データセットのメモリ内コピーが回避されるため、新しい各変数に結果を割り当てる必要がありません。

 DT[, sum_delay := arr_delay + dep_delay] head(DT)

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: AA 1498 2014 10 4 1494 EWR DFW 200 ## 2: AA 1241 2014 4 15 1223 JFK BOS 39 ## 3: AA 1071 2014 6 13 1064 EWR DFW 175 ## 4: AA 1056 2014 9 12 1115 EWR DFW 198 ## 5: AA 1022 2014 6 16 1073 EWR DFW 178 ## 6: AA 989 2014 6 11 991 EWR DFW 194 ## distance hour sum_delay ## 1: 1372 7 2992 ## 2: 187 13 2464 ## 3: 1372 10 2135 ## 4: 1372 6 2171 ## 5: 1372 7 2095 ## 6: 1372 11 1980

一度にさらに変数を追加するには、データセットからクエリを実行するとき.(sum_delay = arr_delay + dep_delay)と同様にDT[, ：= (sum_delay = arr_delay + dep_delay)]構文を使用できます。

i引数と組み合わせるだけで、参照によってサブ割り当てし、特定の行のみを更新することができます。

 DT[origin=="JFK", distance := NA] head(DT)

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: AA 1498 2014 10 4 1494 EWR DFW 200 ## 2: AA 1241 2014 4 15 1223 JFK BOS 39 ## 3: AA 1071 2014 6 13 1064 EWR DFW 175 ## 4: AA 1056 2014 9 12 1115 EWR DFW 198 ## 5: AA 1022 2014 6 16 1073 EWR DFW 178 ## 6: AA 989 2014 6 11 991 EWR DFW 194 ## distance hour sum_delay ## 1: 1372 7 2992 ## 2: NA 13 2464 ## 3: 1372 10 2135 ## 4: 1372 6 2171 ## 5: 1372 7 2095 ## 6: 1372 11 1980

集合体データ

データを集約するために、角かっこで3番目の引数by指定します。 次に、 jで集計関数呼び出しを提供する必要があるため、データを実際に集計できます。 j引数で使用される.N記号は、各グループのすべての観測値の数に対応します。 前述のように、集計は行および選択列のサブセットと組み合わせることができます。

 ans <- DT[, .(m_arr_delay = mean(arr_delay), m_dep_delay = mean(dep_delay), count = .N), .(carrier, month)] head(ans)

 ## carrier month m_arr_delay m_dep_delay count ## 1: AA 10 5.541959 7.591497 2705 ## 2: AA 4 1.903324 3.987008 2617 ## 3: AA 6 8.690067 11.476475 2678 ## 4: AA 9 -1.235160 3.307078 2628 ## 5: AA 8 4.027474 8.914054 2839 ## 6: AA 7 9.159886 11.665953 2802

多くの場合、行の値をグループ全体の集計と比較する必要があります。 SQLでは、次のようにパーティションに集計を適用します： AVG(arr_delay) OVER (PARTITION BY carrier, month) 。

 ans <- DT[, .(arr_delay, carrierm_mean_arr = mean(arr_delay), dep_delay, carrierm_mean_dep = mean(dep_delay)), .(carrier, month)] head(ans)

 ## carrier month arr_delay carrierm_mean_arr dep_delay carrierm_mean_dep ## 1: AA 10 1494 5.541959 1498 7.591497 ## 2: AA 10 840 5.541959 848 7.591497 ## 3: AA 10 317 5.541959 338 7.591497 ## 4: AA 10 292 5.541959 331 7.591497 ## 5: AA 10 322 5.541959 304 7.591497 ## 6: AA 10 306 5.541959 299 7.591497

これらの集計を使用してデータをクエリするのではなく、参照によって実際のテーブル更新に配置するだけの場合は、 :=演算子を使用してそれを実行できます。 これにより、データセットのメモリ内コピーが回避されるため、結果を新しい変数に割り当てる必要がありません。

 DT[, `:=`(carrierm_mean_arr = mean(arr_delay), carrierm_mean_dep = mean(dep_delay)), .(carrier, month)] head(DT)

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: AA 1498 2014 10 4 1494 EWR DFW 200 ## 2: AA 1241 2014 4 15 1223 JFK BOS 39 ## 3: AA 1071 2014 6 13 1064 EWR DFW 175 ## 4: AA 1056 2014 9 12 1115 EWR DFW 198 ## 5: AA 1022 2014 6 16 1073 EWR DFW 178 ## 6: AA 989 2014 6 11 991 EWR DFW 194 ## distance hour sum_delay carrierm_mean_arr carrierm_mean_dep ## 1: 1372 7 2992 5.541959 7.591497 ## 2: NA 13 2464 1.903324 3.987008 ## 3: 1372 10 2135 8.690067 11.476475 ## 4: 1372 6 2171 -1.235160 3.307078 ## 5: 1372 7 2095 8.690067 11.476475 ## 6: 1372 11 1980 8.690067 11.476475

データセットに参加する

データセットのベースRの結合とマージは、特殊なタイプのサブセット操作と見なされます。 最初の角括弧引数iで結合するデータセットを提供します。 iに提供されたデータセットの各行について、 [を使用するデータセットの行を照合します。 一致する行（内部結合）のみを保持する場合は、追加の引数nomatch = 0Lを渡します。 on引数を使用して、両方のデータセットを結合する列を指定します。

 # create reference subset carrierdest <- DT[, .(count=.N), .(carrier, dest) # count by carrier and dest ][1:10 # just 10 first groups ] # chaining `[...][...]` as subqueries print(carrierdest)

 ## carrier dest count ## 1: AA DFW 5877 ## 2: AA BOS 1173 ## 3: AA ORD 4798 ## 4: AA SEA 298 ## 5: AA EGE 85 ## 6: AA LAX 3449 ## 7: AA MIA 6058 ## 8: AA SFO 1312 ## 9: AA AUS 297 ## 10: AA DCA 172

 # outer join ans <- carrierdest[DT, on = c("carrier","dest")] print(ans)

 ## carrier dest count dep_delay year month day arr_delay origin ## 1: AA DFW 5877 1498 2014 10 4 1494 EWR ## 2: AA BOS 1173 1241 2014 4 15 1223 JFK ## 3: AA DFW 5877 1071 2014 6 13 1064 EWR ## 4: AA DFW 5877 1056 2014 9 12 1115 EWR ## 5: AA DFW 5877 1022 2014 6 16 1073 EWR ## --- ## 253312: WN BNA NA -12 2014 3 9 -21 LGA ## 253313: WN MDW NA -13 2014 3 10 -18 EWR ## 253314: WN HOU NA -13 2014 5 17 -30 LGA ## 253315: WN MKE NA -13 2014 6 15 10 LGA ## 253316: WN CAK NA -13 2014 8 19 -30 LGA ## air_time distance hour sum_delay carrierm_mean_arr ## 1: 200 1372 7 2992 5.541959 ## 2: 39 NA 13 2464 1.903324 ## 3: 175 1372 10 2135 8.690067 ## 4: 198 1372 6 2171 -1.235160 ## 5: 178 1372 7 2095 8.690067 ## --- ## 253312: 115 764 16 -33 6.921642 ## 253313: 112 711 20 -31 6.921642 ## 253314: 202 1428 17 -43 22.875845 ## 253315: 101 738 20 -3 14.888889 ## 253316: 63 397 16 -43 7.219670 ## carrierm_mean_dep ## 1: 7.591497 ## 2: 3.987008 ## 3: 11.476475 ## 4: 3.307078 ## 5: 11.476475 ## --- ## 253312: 11.295709 ## 253313: 11.295709 ## 253314: 30.546453 ## 253315: 24.217560 ## 253316: 17.038047

 # inner join ans <- DT[carrierdest, # for each row in carrierdest nomatch = 0L, # return only matching rows from both tables on = c("carrier","dest")] # joining on columns carrier and dest print(ans)

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: AA 1498 2014 10 4 1494 EWR DFW 200 ## 2: AA 1071 2014 6 13 1064 EWR DFW 175 ## 3: AA 1056 2014 9 12 1115 EWR DFW 198 ## 4: AA 1022 2014 6 16 1073 EWR DFW 178 ## 5: AA 989 2014 6 11 991 EWR DFW 194 ## --- ## 23515: AA -8 2014 10 11 -13 JFK DCA 53 ## 23516: AA -9 2014 5 21 -12 JFK DCA 52 ## 23517: AA -9 2014 6 5 -6 JFK DCA 53 ## 23518: AA -9 2014 10 2 -21 JFK DCA 51 ## 23519: AA -11 2014 5 27 10 JFK DCA 55 ## distance hour sum_delay carrierm_mean_arr carrierm_mean_dep count ## 1: 1372 7 2992 5.541959 7.591497 5877 ## 2: 1372 10 2135 8.690067 11.476475 5877 ## 3: 1372 6 2171 -1.235160 3.307078 5877 ## 4: 1372 7 2095 8.690067 11.476475 5877 ## 5: 1372 11 1980 8.690067 11.476475 5877 ## --- ## 23515: NA 15 -21 5.541959 7.591497 172 ## 23516: NA 15 -21 4.150172 8.733665 172 ## 23517: NA 15 -15 8.690067 11.476475 172 ## 23518: NA 15 -30 5.541959 7.591497 172 ## 23519: NA 15 -1 4.150172 8.733665 172

ベースRサブセットとの一貫性のため、外部結合はデフォルトでRIGHT OUTERであることに注意してください。 LEFT OUTERを探している場合は、上記の例のようにテーブルを交換する必要があります。 ベースRのdata.table merge merge正確な動作を簡単に制御することもできdata.frame 。

列をデータセットに単純にルックアップする場合は、結合中にj引数の:=演算子を使用して効率的に実行できます。 [データセットの更新]セクションで説明したように、参照によってサブ割り当てするのと同じ方法で、結合するデータセットから参照によって列を追加します。 これにより、データのメモリ内コピーが回避されるため、結果を新しい変数に割り当てる必要がありません。

 DT[carrierdest, # data.table to join with lkp.count := count, # lookup `count` column from `carrierdest` on = c("carrier","dest")] # join by columns head(DT)

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: AA 1498 2014 10 4 1494 EWR DFW 200 ## 2: AA 1241 2014 4 15 1223 JFK BOS 39 ## 3: AA 1071 2014 6 13 1064 EWR DFW 175 ## 4: AA 1056 2014 9 12 1115 EWR DFW 198 ## 5: AA 1022 2014 6 16 1073 EWR DFW 178 ## 6: AA 989 2014 6 11 991 EWR DFW 194 ## distance hour sum_delay carrierm_mean_arr carrierm_mean_dep lkp.count ## 1: 1372 7 2992 5.541959 7.591497 5877 ## 2: NA 13 2464 1.903324 3.987008 1173 ## 3: 1372 10 2135 8.690067 11.476475 5877 ## 4: 1372 6 2171 -1.235160 3.307078 5877 ## 5: 1372 7 2095 8.690067 11.476475 5877 ## 6: 1372 11 1980 8.690067 11.476475 5877

結合中の集約には、 by = .EACHIを使用します。 中間の結合結果を実現しない結合を実行し、その場で集計を適用して、メモリ効率を高めます。

ローリングジョインは、順序付けられたデータを処理するために設計された珍しい機能です。 時間データ、および一般的な時系列の処理に完全に適合します。 基本的に、結合条件で一致を次の一致する値にロールします。 結合時にroll引数を指定して使用します。

高速オーバーラップ結合は、さまざまなオーバーラップ演算子（ any 、 within 、 start 、 end ）を使用して、期間とそのオーバーラップ処理に基づいてデータセットを結合します。

非等条件を使用してデータセットを結合する非等結合機能は、現在開発中です。

プロファイリングデータ

データセットを探索するとき、データの品質をよりよく理解するために、主題に関する技術情報を収集したい場合があります。

記述統計

summary(DT)

 ## carrier dep_delay year month ## Length:253316 Min. :-112.00 Min. :2014 Min. : 1.000 ## Class :character 1st Qu.: -5.00 1st Qu.:2014 1st Qu.: 3.000 ## Mode :character Median : -1.00 Median :2014 Median : 6.000 ## Mean : 12.47 Mean :2014 Mean : 5.639 ## 3rd Qu.: 11.00 3rd Qu.:2014 3rd Qu.: 8.000 ## Max. :1498.00 Max. :2014 Max. :10.000 ## ## day arr_delay origin dest ## Min. : 1.00 Min. :-112.000 Length:253316 Length:253316 ## 1st Qu.: 8.00 1st Qu.: -15.000 Class :character Class :character ## Median :16.00 Median : -4.000 Mode :character Mode :character ## Mean :15.89 Mean : 8.147 ## 3rd Qu.:23.00 3rd Qu.: 15.000 ## Max. :31.00 Max. :1494.000 ## ## air_time distance hour sum_delay ## Min. : 20.0 Min. : 80.0 Min. : 0.00 Min. :-224.00 ## 1st Qu.: 86.0 1st Qu.: 529.0 1st Qu.: 9.00 1st Qu.: -19.00 ## Median :134.0 Median : 762.0 Median :13.00 Median : -5.00 ## Mean :156.7 Mean : 950.4 Mean :13.06 Mean : 20.61 ## 3rd Qu.:199.0 3rd Qu.:1096.0 3rd Qu.:17.00 3rd Qu.: 23.00 ## Max. :706.0 Max. :4963.0 Max. :24.00 Max. :2992.00 ## NA's :81483 ## carrierm_mean_arr carrierm_mean_dep lkp.count ## Min. :-22.403 Min. :-4.500 Min. : 85 ## 1st Qu.: 2.676 1st Qu.: 7.815 1st Qu.:3449 ## Median : 6.404 Median :11.354 Median :5877 ## Mean : 8.147 Mean :12.465 Mean :4654 ## 3rd Qu.: 11.554 3rd Qu.:17.564 3rd Qu.:6058 ## Max. : 86.182 Max. :52.864 Max. :6058 ## NA's :229797

カーディナリティ

uniqueN関数を使用してデータの一意性を確認し、すべての列に適用できます。 以下のクエリのオブジェクト.SDは、データテーブルのサブセットに対応しています。

 DT[, lapply(.SD, uniqueN)]

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: 14 570 1 10 31 616 3 109 509 ## distance hour sum_delay carrierm_mean_arr carrierm_mean_dep lkp.count ## 1: 152 25 1021 134 134 11

NAレシオ

各列の不明な値（RではNA 、SQLではNULL ）の比率を計算するために、すべての列に適用する目的の関数を提供します。

 DT[, lapply(.SD, function(x) sum(is.na(x))/.N)]

 ## carrier dep_delay year month day arr_delay origin dest air_time ## 1: 0 0 0 0 0 0 0 0 0 ## distance hour sum_delay carrierm_mean_arr carrierm_mean_dep lkp.count ## 1: 0.3216654 0 0 0 0 0.9071555

データのエクスポート

表形式のデータをCSV形式に高速にエクスポートすることも、 data.tableパッケージによって提供されます。

 tmp.csv <- tempfile(fileext=".csv") fwrite(DT, tmp.csv) # preview exported data cat(system(paste("head -3",tmp.csv), intern=TRUE), sep="\n")

 ## carrier,dep_delay,year,month,day,arr_delay,origin,dest,air_time,distance,hour,sum_delay,carrierm_mean_arr,carrierm_mean_dep,lkp.count ## AA,1498,2014,10,4,1494,EWR,DFW,200,1372,7,2992,5.54195933456561,7.59149722735674,5877 ## AA,1241,2014,4,15,1223,JFK,BOS,39,,13,2464,1.90332441727168,3.98700802445548,1173

これを書いている時点では、 fwrite関数はまだCRANリポジトリに公開されていません。 これを使用するには、 data.table開発バージョンをインストールする必要があります。インストールしない場合は、ベースR write.csv関数を使用できますが、高速であるとは期待できません。

資力

利用可能なリソースはたくさんあります。 各機能で利用できるマニュアルに加えて、特定の主題に焦点を当てたチュートリアルであるパッケージビネットもあります。 それらはスタートページにあります。 さらに、[プレゼンテーション]ページには、世界中のdata.tableプレゼンテーションからの30を超える資料（スライド、ビデオなど）が一覧表示されます。 また、コミュニティのサポートは何年にもわたって成長し、最近Stack Overflow data.tableタグで4000番目の質問に到達しましたが、回答された質問の割合は依然として高い（91.9％）。 以下のプロットは、時間の経過に伴うStackOverflowのdata.tableタグ付き質問の数を示しています。

概要

この記事では、 data.tableパッケージを使用したRでの効率的な表形式データ変換の選択例を示します。 パフォーマンスの実際の数値は、再現可能なベンチマークを探すことで調べることができます。 多くの図と再現可能なコードを見つけることができるdata.tableで一般的なRの問題を効率的に解決するというR言語の上位50の評価されたStackOverflowの質問に対するdata.tableソリューションに関する要約ブログ投稿を公開しました。 パッケージdata.tableは、グループ化操作に高速基数順序付けのネイティブ実装を使用し、高速サブセット/結合のバイナリ検索を使用します。 この基数の順序は、バージョン3.3.0からベースRに組み込まれています。 さらに、このアルゴリズムは最近H2O機械学習プラットフォームに実装され、H2Oクラスター上で並列化され、10Bx10B行での効率的な大きな結合を可能にしました。