简述spark框架的导致

2024-08-27 12:00:14

导读： spark包含哪些框架模块 Spark框架包含以下几个模块： 1. Spark Core：Spark的外围，提供Spark运转的基础，以RDD为数据形象，提供Python、Java、Scala、R言语的A......

spark包含哪些框架模块

Spark框架包含以下几个模块：

1. Spark Core：Spark的外围，提供Spark运转的基础，以RDD为数据形象，提供Python、Java、Scala、R言语的API，可以编程启动海量离线数据批处置计算。

2. Spark SQL：基于Spark Core之上，提供结构化数据的处置模块，允许以SQL言语对数据启动处置，针对离线计算场景。

3. Spark Streaming：以Spark Core为基础，提供数据的流式计算配置。

4. Spark GraphX：以Spark Core为基础，启动图计算，提供了少量的图计算API，繁难以散布式计算形式启动图计算。

5. Spark MLlib：以Spark Core为基础，启动机器学习计算，内置了少量的机器学习库和API算法等，繁难用户以散布式计算的形式启动机器学习计算。