【Ambari Plus】11.Kafka 安装

Kafka 安装Kafka 用来承载消息发布订阅和流式数据管道。它依赖 ZooKeeper本篇环境已经提前安装并启动了三节点 ZooKeeper所以可以直接进入 Kafka 安装。本次教程环境采用单 Broker放在hadoop1.test.com。这样步骤更短适合先跑通安装链路生产环境不要照搬单 Broker至少要规划多 Broker、副本数、磁盘目录、Topic 保留策略和 Ranger Kafka Plugin。主机Kafka 角色hadoop1.test.comKAFKA_BROKERhadoop2.test.com无hadoop3.test.com无::: warning单 Broker 只适合教程、开发和功能验证。页面里也会提示“生产环境存在单点风险”。如果是生产集群建议把 Broker 分散到多台机器并把default.replication.factor、min.insync.replicas、日志目录和磁盘容量一起规划好。:::1. 选择 Kafka 服务进入服务与组件点击新增服务勾选Kafka。页面会显示 Kafka 依赖ZooKeeper。前面已经完成 ZooKeeper 安装所以这里不需要额外补依赖。2. 分配 Kafka BrokerMaster 分配页里Kafka 的运行角色是KAFKA_BROKER。本次保持教程环境的单 Broker 分配组件主机说明KAFKA_BROKERhadoop1.test.com对外提供 Kafka 消息读写服务。如果你要做三 Broker可以在这里把hadoop1.test.com、hadoop2.test.com、hadoop3.test.com都选上。多 Broker 时后面的副本数和 ISR 配置也要一起改不要只多选主机。3. 确认没有 Slave 和 ClientSlave 与 Client 分配页里Kafka 没有额外角色需要分配。这里直接下一步即可。Kafka 的主要安装动作都围绕 Broker 组件展开。4. 检查 Kafka 推荐配置进入自定义配置页后页面会根据当前集群拓扑生成 Kafka 配置。先确认待填写 0再重点看这些配置方向配置方向说明listenersBroker 监听地址Kerberos 环境里要和主机名、Principal 对齐。Log directoriesKafka 日志数据目录生产环境建议放在独立磁盘。default.replication.factor单 Broker 环境只能按 1 跑多 Broker 再提高副本数。min.insync.replicas与副本数配套调整避免写入确认策略和 Broker 数不匹配。ranger-kafka-*安装 Ranger 后会出现 Kafka 审计和插件相关配置。::: tip第一次安装先让服务启动成功。Topic 级别的分区、副本、保留时间、压缩策略可以等 Broker 正常后再按业务场景细化。:::5. 确认安装清单确认页里会看到新增服务和 Broker 分配结果。本次确认结果如下检查项本次结果新增服务KAFKAMaster 分配KAFKA_BROKER - hadoop1.test.comSlave 分配无Client 分配无配置校验必填项已填写确认无误后点击开始安装。6. 提交 Kerberos 管理员凭据开启 Kerberos 的集群中新增 Kafka 也需要 KDC 管理员授权。填写 KDC 管理员 Principal 和密码后提交系统会生成并分发 Kafka 相关 keytab。这里最容易填错的是密码它不是数据库密码也不是 Kafka 自己的密码而是 KDC 管理员密码。7. 等待 Kafka 安装完成安装完成页出现KAFKA说明 Broker 安装、Kerberos 凭据分发、启动和服务检查已经完成。安装过程中主要看阶段期望结果安装包KAFKA_BROKER安装完成。KerberosKafka principal / keytab 分发完成。启动服务Kafka Broker启动完成。Service CheckKafka 服务检查成功。如果 Broker 启动失败先看server.properties里的监听地址、ZooKeeper 地址和 Kerberos principal。单 Broker 环境还要留意副本数配置不要大于 Broker 数。8. 回到服务列表确认状态回到服务与组件页面Kafka 会出现在查询数据分类下。页面里可以看到组件状态Kafka Broker运行中命令行可以做一个版本确认kafka-topics.sh--version正常会看到类似结果2.8.1 (Commit:unknown)到这里Kafka 的基础安装完成。下一步继续安装 Flink后面如果要接 Atlas、Ranger Kafka Plugin 或业务 Topic再单独补权限和 Topic 规划。