RAPIDS加速器为Apache Spark 3.0提速

时间：2022-03-29 08:21:01 | 来源：行业动态

时间：2022-03-29 08:21:01 来源：行业动态

随着数据科学家从使用传统的分析转而采用可以更好地对复杂市场需求进行建模的AI应用，如果继续采用CPU，则必须牺牲速度或增加成本才能跟上由此产生的处理需求。而随着AI在分析中的应用日益增加，需要有新的框架来通过GPU快速、经济高效地处理数据。

用于Apache Spark的全新RAPIDS加速器将Spark分布式计算框架与功能强大的RAPIDS cuDF库相连接，实现了GPU对Spark DataFrame和Spark SQL的运行提速。RAPIDS加速器还通过搜索在Spark节点之间移动数据的最快路径来加快Spark Shuffle的运行速度。