什么是 APACHE SPARK？

伴随数据的巨量增长，Apache Spark 已成为分布式横向扩展数据处理的热门框架之一，可以在本地和云端数以百万计的服务器上运行。

Apache Spark 是应用于大型数据处理的快速通用分析引擎，可在 YARN、Apache Mesos、Kubernetes 上运行，也可独立或在云端运行。借助用于 SQL、流处理、机器学习和图形处理的高级运算符及库，Spark 使开发者能够通过交互式 shell、笔记本或应用程序包来使用 Scala、Python、R 或 SQL 轻松构建并行应用程序。通过功能编程模型和相关查询引擎 Catalyst，Spark 支持批量和交互式分析，可将作业转换为查询方案，并跨集群节点调度查询方案中的操作。

Spark 核心数据处理引擎之上存在多个用于 SQL 和 DataFrame、机器学习、GraphX、图形计算和流处理的库。用户可在来自各种数据源（例如 HDFS、Alluxio、Apache Cassandra、Apache HBase 或 Apache Hive）的海量数据集上结合使用这些库。