Apache Sparkとは何か？

• 汎用性が高く、処理を高速に実行できるよう設計されたクラスター向けの計算プラットフォーム
• 難しい用語に馴染みのない方のために簡単に言うと、データの分析や処理を行う際に、異なる言語環境を統合的に構成し、データ処理や分析などの作業を柔軟に行えるようにするアプリケーション（さまざまな言語をサポート：Java、Python、SQL）
• 機械学習やさまざまな計算モデルを効果的にサポートする。
• Hadoopクラスター（HDFS）内にもインストールして実行できる。

統合されたコンポーネント#

• Sparkのエンジンにより、SQLや機械学習などの高水準コンポーネントを実行できる。
• コンポーネント連携の利点の一つは、異なるデータ処理モデルをすっきりと組み合わせて、一つのアプリケーションを作れること。
• たとえば、データをリアルタイムで分類する機械学習モデルを作成した場合、分析担当者は結果に対してリアルタイムにSQLクエリを実行できる。
• また、即時に分析するためにPythonシェルからアクセスすることもできる。

Sparkの構成要素

Spark Core#

• タスクスケジューリング、メモリ管理、障害復旧、ストレージとの連携など、基本的な機能で構成される。
• 弾力性のある分散データセット（RDD）を定義する。
• RDDは複数のコンピューターノードに分散しており、並列処理が可能。
• Spark Coreがこれらのモジュールを管理する。

Spark SQL#

• 構造化データを処理するためのSparkのパッケージ