什么是 Apache Spark？

• 一个面向集群的计算平台，旨在以通用且快速的方式执行任务
• 如果用直白的话来说，对不熟悉这些复杂术语的人而言，它是一种在进行数据分析或处理时，能够整合不同语言环境，让数据处理/分析等任务得以灵活开展的应用程序（支持多种语言：Java、Python、SQL）
• 能够有效支持机器学习和各种计算模型。
• 也可以安装在 Hadoop 集群（HDFS）中并运行。

集成组件#

• Spark 引擎可运行 SQL、机器学习等高级组件。
• 组件互联的优势之一是，可以将不同的数据处理模型整合起来，构建一个应用程序。
• 例如，如果创建了一个能够实时分类数据的机器学习模型，分析师就可以对结果实时执行 SQL 查询。
• 也可以通过 Python Shell 访问，以便立即进行分析。

Spark 的组件

Spark Core#

• 由任务调度、内存管理、故障恢复以及与存储设备集成等基本功能组成
• 定义弹性分布式数据集（RDD）
• RDD 分布在多个计算机节点上，并且可以进行并行处理。
• Spark Core 负责管理这些模块

Spark SQL#

• Spark 中用于处理结构化数据的程序包
• 将 SQL 与复杂的分析任务连接起来

Spark Streaming