Standalone 与yarn集群
Standalone 与 YARN 集群对比
Spark 可以以多种模式部署，其中 Standalone 和 YARN 是最常见的两种。它们各有优缺点，适用于不同的场景。以下是两者的详细对比：
1. 架构与组件
| 特性 | Standalone | YARN |
|---|---|---|
| 资源管理器 | Spark 自带的 Master-Worker 架构 | Hadoop YARN (ResourceManager + NodeManager) |
| 主节点 | Master 节点 | ResourceManager (RM) |
| 工作节点 | Worker 节点 | NodeManager (NM) |
| 任务执行 | Executor 直接运行在 Worker 上 | 容器 (Container) 中运行 Executor |
| 依赖 | 仅需 Spark | 需要 Hadoop 生态系统 (HDFS, YARN) |
2. 资源管理
| 特性 | Standalone | YARN |
|---|---|---|
| 资源分配 | 静态分配，需预先配置 Worker 资源 | 动态分配，支持多租户和资源池 |
| 内存管理 | 通过spark.executor.memory配置 | 通过yarn.scheduler.maximum-allocation-mb等配置 |
| CPU 管理 | 通过spark.executor.cores配置 | 通过yarn.scheduler.maximum-allocation-vcores配置 |
| 资源隔离 | 较弱（依赖操作系统） | 强（容器化隔离） |
3. 适用场景
| 场景 | Standalone | YARN |
|---|---|---|
| 环境复杂度 | 简单（适合测试 / 开发） | 复杂（适合生产环境） |
| 多应用支持 | 有限（资源预先分配） | 优秀（多租户、队列调度） |
| 与 Hadoop 集成 | 需额外配置 | 原生支持（共享 HDFS/YARN） |
| 异构工作负载 | 不支持（仅 Spark） | 支持（Spark、MapReduce、Hive 等混部） |
4. 部署与维护
| 特性 | Standalone | YARN |
|---|---|---|
| 部署难度 | 低（仅需部署 Spark） | 高（需部署 Hadoop 集群） |
| 维护成本 | 低（组件少） | 高（需维护 HDFS/YARN） |
| 高可用性 | 需配置 ZooKeeper 实现 Master HA | 原生支持 RM HA |
| 日志管理 | 需单独配置 | 集成 Hadoop 日志系统 |
5. 性能
| 特性 | Standalone | YARN |
|---|---|---|
| 启动速度 | 快（组件少） | 较慢（需与 YARN 交互） |
| 资源利用率 | 低（静态分配） | 高（动态分配） |
| 任务调度延迟 | 中等 | 较高（YARN 调度开销） |
| 大规模集群 | 有限（通常 < 100 节点） | 优秀（支持数千节点） |
6. 配置与提交
| 特性 | Standalone | YARN |
|---|---|---|
| 提交命令 | spark-submit --master spark://host:port | spark-submit --master yarn --deploy-mode cluster/client |
| 资源参数 | spark.executor.memory, spark.executor.cores | --num-executors, --executor-memory, --executor-cores |
| 部署模式 | 仅支持 client 模式 | 支持 cluster 和 client 模式 |
7. 监控与诊断
| 特性 | Standalone | YARN |
|---|---|---|
| Web UI | Master UI (8080 端口) + 应用 UI (4040) | YARN ResourceManager UI (8088) + 应用历史服务器 |
| 日志聚合 | 需手动收集 | 支持 Container 日志聚合到 HDFS |
| 应用历史 | 需配置spark.eventLog.enabled | 原生支持（通过 YARN 应用历史服务器） |
8. 优缺点总结
Standalone
优点：
- 部署简单，无需依赖其他系统
- 资源调度直接，适合快速测试
- 对 Spark 的优化更好（原生支持）
缺点：
- 资源利用率低（静态分配）
- 不支持多租户
- 扩展性有限（大规模集群性能下降）
YARN
优点：
- 支持多租户和资源池
- 与 Hadoop 生态无缝集成
- 动态资源分配，提高利用率
- 生产级稳定性和 HA 支持
缺点：
- 部署和维护复杂
- 调度延迟较高
- 依赖 Hadoop 版本兼容性
9. 如何选择？
选择 Standalone：
- 测试 / 开发环境
- 仅运行 Spark 作业
- 资源充足且固定
- 希望快速部署和简单维护
选择 YARN：
- 生产环境
- 多框架混合部署（Spark、Hive、MapReduce 等）
- 需要资源细粒度控制和多租户
- 已有 Hadoop 集群
总结
Standalone 适合简单场景和快速迭代，而 YARN 适合复杂生产环境和资源共享。在选择时，需根据实际需求权衡部署复杂度、资源利用率和生态集成度。