6月

使用Intellij Idea编写Spark应用程序 Scala SBT

Contents

1. 安装Scala 插件

name := "AveAgeCal"

version := "0.1"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.3.0"

我这边spark是2.3 所以写2.3， scala的版本是2.11.8

-Dspark.master=local

可能开始引入全部的spark jar。 Project Structure -》Modules -》 addJar or directories

Post Views: 5

4056