Sparkの例を実習中に気づいたこと

基本的に、ビッグデータのスケーリング処理では正規化が必須だ。
ところが、この正規化をなぜ行うのか、あまりにも当たり前のこととして済ませてしまっていて……。
気になっていたところ、ふと少し理解できた。

データをk-meansアルゴリズムで使えるよう、形式を整え、
正規化処理を行うコードの一部だ。

このデータは、X線で撮影した粒子の粒ごとの数値だ。printshema()で型を確認し、head()で観測値を1つ見てみると、すべて連続型の数値で、単位はそれぞれ異なっている。ミリメートルのものもあれば、平方メートルのものもある？単位が違うのに、果たして正常に比較できるだろうか？

このデータを比較できるようにしなければならない。それがスケーリングの処理だ。
0～1の範囲にスケーリングすれば、データ同士を比較できる。

これは、以前の記事のうち、特徴量エンジニアリングの記事の範疇に当たる。

以下は、スケーリングされた数値（scaledFeatures）を示している。