Spark代码模板-RDD
- 备注：scala = 2.12.x java_jdk= 1.8.x maven < 3.8.1
- package RDD
- import org.apache.spark.rdd.RDD
- import org.apache.spark.{SparkConf, SparkContext}
- object RDD_map {
- def main(args:Array[String]): Unit ={
- // 创建 Spark 运行配置对象 val sparkConf = new SparkConf().setMaster(“local[*]”).setAppName(“RDD_map”)
- // 创建 Spark 上下文环境对象（连接对象） val SparkContext = new SparkContext(sparkConf)
- 核心代码（其余部分均为模板化代码，可以直接抄）
- //关闭 Spark 连接
- sparkContext.stop()