Spark 4.1.2 + Scala 2.13 开发环境：IntelliJ IDEA 2024.3 与 SBT 1.9.9 配置实战

发布时间：2026/7/8 2:49:37

Spark 4.1.2 + Scala 2.13 开发环境：IntelliJ IDEA 2024.3 与 SBT 1.9.9 配置实战

Spark 4.1.2 + Scala 2.13 开发环境：IntelliJ IDEA 2024.3 与 SBT 1.9.9 配置实战

对于希望构建现代化Spark应用的开发者而言，搭建一个高效的本地开发环境至关重要。本文将详细介绍如何在IntelliJ IDEA 2024.3中配置Spark 4.1.2与Scala 2.13的开发环境，使用SBT 1.9.9作为构建工具，并提供完整的项目配置示例。

1. 环境准备与工具安装

在开始Spark项目开发前，需要确保系统中已安装以下基础组件：

  • Java Development Kit (JDK)：Spark 4.1.2要求JDK 8或更高版本，推荐使用JDK 11或17以获得最佳兼容性
  • Scala 2.13：与Spark 4.1.2兼容的Scala版本
  • IntelliJ IDEA 2024.3：安装时需包含Scala插件
  • SBT 1.9.9：Scala的构建工具

1.1 JDK安装验证

在终端中运行以下命令检查Java版本：

java -version

预期输出应类似于：

openjdk version "17.0.3" 2022-04-19 OpenJDK Runtime Environment (build 17.0.3+7) OpenJDK 64-Bit Server VM (build 17.0.3+7, mixed mode)

1.2 Scala环境配置

使用SDKMAN!安装特定版本的Scala：

sdk install scala 2.13.12

安装后验证版本：

scala -version

正确配置应显示：

Scala code runner version 2.13.12 -- Copyright 2002-2023, LAMP/EPFL and Lightbend, Inc.

2. IntelliJ IDEA项目初始化

2.1 创建新SBT项目

  1. 打开IntelliJ IDEA，选择"New Project"
  2. 在左侧菜单中选择"Scala"，右侧选择"SBT"
  3. 设置项目名称和位置
  4. 确保SDK选择正确的JDK版本（如JDK 17）
  5. SBT版本指定为1.9.9，Scala版本选择2.13.12
  6. 点击"Create"完成项目创建

2.2 基础项目结构

创建完成后，项目应具有以下目录结构：

my-spark-project/ ├── build.sbt ├── project/ │ ├── build.properties │ └── plugins.sbt ├── src/ │ ├── main/ │ │ ├── resources/ │ │ └── scala/ │ └── test/ │ ├── resources/ │ └── scala/ └── target/

3. 配置build.sbt文件

build.sbt是SBT项目的核心配置文件。以下是Spark 4.1.2与Scala 2.13的完整配置示例：

ThisBuild / version := "1.0.0" ThisBuild / scalaVersion := "2.13.12" ThisBuild / organization := "com.example" // 解决Java模块系统在Spark中的警告 ThisBuild / run / fork := true ThisBuild / run / javaOptions += "--add-opens=java.base/sun.nio.ch=ALL-UNNAMED" lazy val root = (project in file(".")) .settings( name := "spark-scala-demo", libraryDependencies ++= Seq( // Spark核心依赖 "org.apache.spark" %% "spark-core" % "4.1.2", "org.apache.spark" %% "spark-sql" % "4.1.2", // 测试依赖 "org.scalatest" %% "scalatest" % "3.2.16" % Test, // 日志处理 "org.apache.logging.log4j" % "log4j-api" % "2.20.0", "org.apache.logging.log4j" % "log4j-core" % "2.20.0", "org.apache.logging.log4j" % "log4j-slf4j-impl" % "2.20.0" ), // 并行执行设置 parallelExecution in Test := false, // 编译器选项 scalacOptions ++= Seq( "-deprecation", "-feature", "-unchecked", "-Xlint", "-Ywarn-dead-code", "-Ywarn-numeric-widen", "-Ywarn-unused", "-Ywarn-value-discard" ), // JVM运行参数 javaOptions ++= Seq( "-Xms512M", "-Xmx2G", "-XX:+UseG1GC", "-Dlog4j.configurationFile=log4j2.properties" ) )

3.1 关键配置说明

  1. Spark依赖管理：

    • spark-core和spark-sql是Spark的基础模块
    • 使用%%确保获取与Scala 2.13兼容的版本

  2. 日志配置：

    • 添加Log4j2依赖以避免Spark的日志冲突
    • 需要在src/main/resources下添加log4j2.properties文件

  3. JVM参数：

    • 设置合理的堆内存大小（-Xms和-Xmx）
    • 使用G1垃圾收集器提高性能

4. 解决常见依赖冲突

Spark项目经常会遇到依赖冲突问题，以下是两个典型场景的解决方案：

4.1 Guava版本冲突

Spark 4.1.2依赖Guava 14.0.1，而许多现代库需要更高版本。解决方案：

dependencyOverrides += "com.google.guava" % "guava" % "32.1.3-jre"

4.2 Jackson版本冲突

Spark自带Jackson模块，可能与用户引入的版本冲突：

dependencyOverrides ++= Seq( "com.fasterxml.jackson.core" % "jackson-core" % "2.15.3", "com.fasterxml.jackson.core" % "jackson-databind" % "2.15.3", "com.fasterxml.jackson.module" %% "jackson-module-scala" % "2.15.3" )

提示：使用sbt dependencyTree命令可以查看完整的依赖关系树，帮助识别冲突

5. 编写第一个Spark应用

在src/main/scala目录下创建SimpleApp.scala文件：

import org.apache.spark.sql.SparkSession object SimpleApp { def main(args: Array[String]): Unit = { // 创建SparkSession val spark = SparkSession.builder() .appName("Simple Application") .master("local[*]") // 使用本地模式，所有可用核心 .config("spark.sql.shuffle.partitions", "4") // 优化小数据集性能 .getOrCreate() // 减少日志输出 spark.sparkContext.setLogLevel("WARN") import spark.implicits._ try { // 创建示例DataFrame val data = Seq( ("Java", 20000), ("Python", 100000), ("Scala", 3000) ) val df = data.toDF("language", "users") // 执行简单转换 val filteredDF = df.filter($"users" > 10000) // 显示结果 filteredDF.show() // 执行聚合操作 df.createOrReplaceTempView("languages") val resultDF = spark.sql( """ |SELECT language, users |FROM languages |WHERE users > (SELECT AVG(users) FROM languages) |""".stripMargin) resultDF.show() } finally { // 确保SparkSession被正确关闭 spark.stop() } } }

5.1 运行配置

  1. 在IntelliJ中右键点击SimpleApp对象
  2. 选择"Run 'SimpleApp'"
  3. 或创建自定义运行配置：
    • Main class:SimpleApp
    • VM options:-Xmx2G -Dlog4j.configurationFile=log4j2.properties
    • Working directory: 项目根目录
    • Environment variables: 可添加SPARK_LOCAL_IP=127.0.0.1

6. 性能优化配置

在build.sbt中添加以下配置可显著提升本地开发体验：

// 针对本地开发的优化配置 fork in run := true outputStrategy := Some(StdoutOutput) connectInput in run := true // 内存设置 javaOptions in run ++= Seq( "-Xms1G", "-Xmx4G", "-XX:MaxMetaspaceSize=1G", "-XX:+UseG1GC", "-XX:MaxGCPauseMillis=200", "-Djava.net.preferIPv4Stack=true" ) // 针对Spark的特定配置 javaOptions in run ++= Seq( "-Dspark.master=local[*]", "-Dspark.driver.memory=2G", "-Dspark.executor.memory=2G", "-Dspark.ui.enabled=true", "-Dspark.ui.port=4040" )

6.1 日志配置示例

在src/main/resources/log4j2.properties中添加：

rootLogger.level = WARN rootLogger.appenderRef.stdout.ref = console appender.console.type = Console appender.console.name = console appender.console.layout.type = PatternLayout appender.console.layout.pattern = %d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n logger.spark.name = org.apache.spark logger.spark.level = WARN logger.jetty.name = org.sparkproject.jetty logger.jetty.level = WARN

7. 高级项目配置

7.1 多模块项目结构

对于复杂项目，可以拆分为多个模块：

lazy val core = (project in file("core")) .settings( name := "spark-core", // 核心配置 ) lazy val utils = (project in file("utils")) .settings( name := "spark-utils", // 工具类配置 ) lazy val app = (project in file("app")) .dependsOn(core, utils) .settings( name := "spark-app", // 应用配置 )

7.2 打包配置

添加assembly插件用于创建可部署的fat JAR：

  1. 在project/plugins.sbt中添加：
addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "2.1.1")
  1. 在build.sbt中添加合并策略：
assembly / assemblyMergeStrategy := { case PathList("META-INF", "services", xs @ _*) => MergeStrategy.filterDistinctLines case PathList("META-INF", xs @ _*) => MergeStrategy.discard case "reference.conf" => MergeStrategy.concat case _ => MergeStrategy.first }
  1. 使用命令创建部署包：
sbt assembly

8. 实际开发技巧

8.1 使用Spark Shell进行快速验证

在SBT项目中集成Spark Shell功能：

lazy val sparkShell = taskKey[Unit]("Start Spark shell with project dependencies") sparkShell := { val sbtClasspath = (fullClasspath in Runtime).value.files.absString val cmd = s"""spark-shell --jars "$sbtClasspath"""" println(s"Running: $cmd") cmd ! }

运行方式：

sbt sparkShell

8.2 性能监控配置

在spark-defaults.conf中添加（位于src/main/resources）：

spark.eventLog.enabled true spark.eventLog.dir file:///tmp/spark-events spark.history.fs.logDirectory file:///tmp/spark-events spark.metrics.conf.*.sink.console.class org.apache.spark.metrics.sink.ConsoleSink

8.3 单元测试示例

在src/test/scala中创建测试类：

import org.apache.spark.sql.SparkSession import org.scalatest.BeforeAndAfterAll import org.scalatest.funsuite.AnyFunSuite class SparkTestExample extends AnyFunSuite with BeforeAndAfterAll { private var spark: SparkSession = _ override def beforeAll(): Unit = { spark = SparkSession.builder() .appName("Testing") .master("local[2]") .config("spark.ui.enabled", "false") .getOrCreate() } override def afterAll(): Unit = { if (spark != null) { spark.stop() } } test("simple dataframe creation") { import spark.implicits._ val data = Seq(("a", 1), ("b", 2)) val df = data.toDF("letter", "number") assert(df.count() == 2) assert(df.columns.length == 2) } }

运行测试：

sbt test

相关新闻

迁安本地人认可的家电清洗机构家电清洗行业基础标准及要点解读

迁安本地人认可的家电清洗机构家电清洗行业基础标准及要点解读

导语在迁安，家电清洗机构获得本地人的认可至关重要。小绿人家电清洗培训作为行业内较受关注的存在，其相关知识值得了解。家电清洗行业如今发展迅速，了解其基础标准及要点，不仅可以确保家电得到专业清洗，还能保障使用安…

2026/7/8 2:49:37
我是如何利用 WorkBuddy 创建一个项目经营分析表解读 Skill 的

我是如何利用 WorkBuddy 创建一个项目经营分析表解读 Skill 的

经营分析表摆在面前的那一刻，绝大多数项目经分人员的第一反应是"打开、滚动、看数字"——几十列、十几个维度，从哪里看起、按什么顺序看、看到什么算异常，全凭经验和直觉。 这就是我决定用 WorkBuddy 构建一个"项目经营分析表…

2026/7/8 2:49:37
linux 7.1新版 | 大模型repo推荐

linux 7.1新版 | 大模型repo推荐

Linus Torvalds： 我正在努力改进这一点。其实，我并不是完全不看代码。 比如，在合并过程中遇到代码冲突时，我就会查看相关代码。这种情况很常见，也没有什么问题。 有些人觉得解决冲突很困难，但多年来我处理过…

2026/7/8 2:49:37

最新新闻

计算机毕业设计之基于uniapp电子商城的设计与实现

计算机毕业设计之基于uniapp电子商城的设计与实现

随着移动互联网的普及与迅猛发展，移动电子商务在全球热度持续攀升，为消费者缔造了更为便捷、个性化的购物体验。中国作为全球规模最大的电子商务市场，移动购物已渐成消费者购物的首选方式。传统购物模式受时空限制，难以满足人们日…

2026/7/8 4:08:00
2011-2026年各省市人民网政府留言板数据

2011-2026年各省市人民网政府留言板数据

人民网《领导留言板》是人民日报社人民网为中央部委和地方各级党委政府主要负责同志搭建的网上群众工作平台，自 2006 年创办至2025年8月，超 560万件群众诉求得到回复办理。之前我们推出过2011-2025年人民网留言板数据本次将年份范围扩展到2026年2月&…

2026/7/8 4:08:00
OpenRGB：一站式解决RGB设备控制混乱的终极方案

OpenRGB：一站式解决RGB设备控制混乱的终极方案

OpenRGB：一站式解决RGB设备控制混乱的终极方案 【免费下载链接】OpenRGB Open source RGB lighting control that doesnt depend on manufacturer software. Supports Windows, Linux, MacOS. Mirror of https://gitlab.com/CalcProgrammer1/OpenRGB. Releases can …

2026/7/8 4:08:06
不靠展会、不烧推广！紧固件贸易商的流量翻盘路，被追觅点透了

不靠展会、不烧推广！紧固件贸易商的流量翻盘路，被追觅点透了

作为新苏州人，相信很多人近期的抖音多多少少被追觅的员工抖音轰炸！今天我们蹭波热度聊聊这个事情。俞大嘴的百万粉丝大号一、先看懂追觅俞浩的底层逻辑（2026 年 4–5 月）指令：2.2 万员工全员开账号、日更 3 条短视频&a…

2026/7/8 4:08:06
艺学启航：python的设计哲学，显性为什么优于隐形。

艺学启航：python的设计哲学，显性为什么优于隐形。

艺学启航：“显式优于隐式”是Python的核心设计哲学，多数开发者仅将其当作普通编码规范，却忽略了其支撑代码长期维护、保障团队协作的核心价值。这条原则并非硬性约束，而是适配真实开发场景的实用准则。软件项目的生命周期内&#…

2026/7/8 4:08:06
腾讯混元HY-MT1.5B/1.8B私有云一键部署实战指南

腾讯混元HY-MT1.5B/1.8B私有云一键部署实战指南

1. 项目概述：这不是“点一下就完事”的玩具，而是一套可落地的多语言翻译服务交付方案你搜“云平台一键部署 Tencent-Hunyuan HY-MT1.5-1.8B”，大概率是被某篇标题党文章或某条短视频吸引来的——画面里几行命令敲下去，中文秒变阿拉…

2026/7/8 4:08:06

日新闻

DALL·E 3 vs DALL·E 2 API 对比：3 大核心差异与 5 项成本/效果实测

DALL·E 3 vs DALL·E 2 API 对比：3 大核心差异与 5 项成本/效果实测

DALLE 3 与 DALLE 2 API 深度评测：技术决策者的5维选择指南当我们需要在项目中集成AI图像生成能力时，OpenAI提供的DALLE系列API往往是最先考虑的选择。但面对DALLE 3和DALLE 2这两个版本，技术决策者常常陷入选择的困境。本文将通过超过50组对…

2026/7/8 0:00:15
高德地图 JS API 2.0 海量标注优化：3500+数据下首屏加载提速4倍实战

高德地图 JS API 2.0 海量标注优化：3500+数据下首屏加载提速4倍实战

高德地图JS API 2.0海量标注性能优化实战：从3500数据卡顿到丝滑渲染的完整方案当我们在Web应用中集成高德地图并需要展示大量标注时，性能问题往往会成为开发者的噩梦。特别是在数据量超过3500条时，传统的标注渲染方式会导致首屏加载缓慢、交互…

2026/7/8 0:00:15
PROPKA 3深度解析：蛋白质pKa预测的实战指南与算法原理

PROPKA 3深度解析：蛋白质pKa预测的实战指南与算法原理

PROPKA 3深度解析：蛋白质pKa预测的实战指南与算法原理 【免费下载链接】propka PROPKA predicts the pKa values of ionizable groups in proteins and protein-ligand complexes based in the 3D structure. 项目地址: https://gitcode.com/gh_mirrors/pr/propka…

2026/7/8 0:00:15

周新闻

3步彻底解决Windows右键菜单混乱问题：ContextMenuManager使用全攻略

3步彻底解决Windows右键菜单混乱问题：ContextMenuManager使用全攻略

3步彻底解决Windows右键菜单混乱问题：ContextMenuManager使用全攻略 【免费下载链接】ContextMenuManager 🖱️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager 你是否曾为Windows右键菜单中那些…

2026/7/7 3:16:03
GXDE OS下Wayland兼容性实战：从deepin-mutter原理到VMware Tools修复

GXDE OS下Wayland兼容性实战：从deepin-mutter原理到VMware Tools修复

如果你正在用 GXDE OS 或者任何基于 Deepin 的发行版，并且遇到了“检测到窗口系统采用 Wayland 协议，程序即将退出”这类弹窗，或者发现 VMware Tools 在 Ubuntu 24.04 这类默认 Wayland 的系统上启动失败，那这篇文章就是为你准备的…

2026/7/7 3:36:13
企业AI落地困境与AgenticOps实践指南

企业AI落地困境与AgenticOps实践指南

1. 企业AI落地的现实困境与破局之道过去两年，大模型技术呈现爆发式增长，从GPT-3到GPT-4，从LLaMA到DeepSeek，模型参数规模从百亿级跃升至万亿级，多模态能力从单一文本扩展到图文音视频的综合处理。然而在企业应用层面&a…

2026/7/7 7:05:11

月新闻

[C++]内存管理：串顺序存储的内存回收

[C++]内存管理：串顺序存储的内存回收

在串（字符串）的顺序存储中，内存回收的方式取决于字符串的存储方式以及所使用的编程语言和相关库。以下以 C 为例进行说明，因为 C 对内存管理有较为直接的控制。 1. 基于 char 数组的串顺序存储 如果使用普通的 char 数组来存储字…

2026/7/6 23:28:09
移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试实战：电流、功率、亮度和场景对比

移动端游戏功耗测试：先控制变量，再比较优化是否真的省电 摘要：功耗测试最容易犯的错误，是拿两次不同温度、不同亮度、不同场景的平均功率直接比较。本文给出一套可复现的游戏功耗测试方法，覆盖引擎特性验证、版本回归和黑盒体验测试，并说明如何把功耗与帧率、温控、CPU/G…

2026/7/8 1:45:14
足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

足球口袋教练 HarmonyOS 离线应用实战（03/20）：ArkUI 首页仪表盘搭建

本文是“足球口袋教练 HarmonyOS 离线应用实战”系列第 3 篇。示例项目是一个 HarmonyOS / ArkTS / ArkUI 编写的离线足球训练助手，围绕真实页面、真实截图和可复现操作展开。 本篇要解决的问题 训练 App 的首页不能只展示欢迎语，它要解决“我现在该点哪…

2026/7/6 21:42:32