为何 SPARK 在应用 GPU 后表现更出色？

Spark 的各个版本均有所改进，有助于更轻松地编程和执行。Apache Spark 3.0 通过创新来维持此趋势，改善 Spark SQL 性能和 NVIDIA GPU 加速。

图形处理器 (GPU) 因其超低浮点运算（性能）单价深受欢迎，其还可通过加快多核服务器的并行处理速度，解决当前的计算性能瓶颈问题。CPU 由专为按序串行处理优化的几个核心组成。而 GPU 则拥有一个大规模并行架构，当中包含数千个更小、更高效的核心，专为同时处理多重任务而设计。与仅包含 CPU 的配置相比，GPU 的数据处理速度快得多。过去数年中，GPU 一直推动 DL 和机器学习 (ML) 模型训练的发展。然而，数据科学家 80% 的时间都花费在了数据预处理上。

虽然 Spark 是以分割数据形式在节点分区中分发计算，但其向来是在 CPU 核心上执行计算操作。Spark 虽然通过添加内存数据处理缓解了 Hadoop 中存在的 I/O 问题，但现在瓶颈问题已从 I/O 转变为日益增多的应用程序的计算问题。随着 GPU 加速计算的出现，此性能瓶颈问题迎刃而解。

为满足并超越数据处理的现代需求，NVIDIA 一直与 Apache Spark 社区进行合作，通过推出 Spark 3.0 版本和用于 Spark 的开源 RAPIDS 加速器，将 GPU 应用于 Spark 的本机处理。在 Spark 中引入 GPU 加速具有诸多优势：

数据处理、查询和模型训练能够更快完成，缩短结果获取时间。

同一个 GPU 加速的基础设施可用于 Spark 和 ML/DL（深度学习）框架，因而无需使用单独的集群，并让整个流程都能获得 GPU 加速。

减少所需的服务器数量，降低基础设施成本。