从Apache官网上下载JDK1.8.x安装包:
安装过程中指定具体的安装路径,尽量不使用默认路径!
配置系统参数:
编辑Path,添加JAVA配置:
配置Scala系统参数:
安装成功后先设置外观样式,然后选择打开项目,效果如下:
指定初始化plugins scala版本:
有外网下载和安装本地插件两种模式:
有外网可以联网下载:
没有外网可以安装本地初始化scala插件:
打开代码可以发现需要重新设置JDK和Scala:
指定JDK和Scala:
可以看出字体是比较小的,点击File --> Settings:
编辑Editor下font创建一个新语言模板:
可以设置字体、字号和行间距,下面会实时显示效果:
实际效果如下:
代码:
import org.apache.spark.sql.SparkSession
/**
* Created by Administrator on 2020/11/19.
*/
object Test {
def main(args: Array[String]) {
val spark = SparkSession.builder().AppName("wordCount")
.master("local[2]")
.getOrCreate()
// 加载数据
val textRDD = spark.sparkContext.textFile("D:/wordcount.txt")
val result = textRDD.map(row => row.replace(",", ""))//去除文字中的,防止出现歧义
.flatMap(row => row.split(" "))//把字符串转换为字符集合
.map(row => (row, 1))//把每个字符串转换为map,便于计数
.reduceByKey(_+_)//计数
.filter(_._2 > 2) // 根据出现次数过滤
// 打印结果
result.foreach(println)
}
}
执行结果:
备注:
需要导入Spark开发所需要的包,可以使用Maven或本地导入: