CentOS 6.5 安装 Kafka

简介

Apache Kafka 是一个开源的流处理平台，它能够处理高吞吐量的数据流，Kafka 适用于构建实时数据管道和流应用程序，本文将详细介绍如何在 CentOS 6.5 操作系统上安装 Kafka。

准备工作

在开始安装 Kafka 之前，请确保您的 CentOS 6.5 系统满足以下要求：

1. Java 运行环境：Kafka 需要 Java 8 或更高版本。
2. 网络连接：确保您的系统可以访问互联网，以便下载 Kafka 安装包。
3. 系统权限：以 root 用户身份执行以下命令，或者使用 sudo 命令。

安装 Java

安装 Java 包管理器：

sudo yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

验证 Java 版本：

java -version

下载 Kafka 安装包

1. 访问 Kafka 官方网站下载 Kafka 安装包：Apache Kafka
2. 下载适合 CentOS 6.5 的 Kafka 版本，kafka_2.8.0-0.11.0.0.tgz

解压 Kafka 安装包

创建 Kafka 安装目录：

sudo mkdir /opt/kafka

解压 Kafka 安装包到指定目录：

sudo tar -xzf kafka_2.8.0-0.11.0.0.tgz -C /opt/kafka

配置 Kafka

修改 Kafka 配置文件：

sudo vi /opt/kafka/kafka_2.8.0-0.11.0.0/config/server.properties

2. 修改以下配置项：

   • broker.id: 设置 Kafka 服务的唯一标识符。
   • log.dirs: 设置 Kafka 日志存储目录。
   • log4j.log.level: 设置日志级别。
   • zookeeper.connect: 设置 Zookeeper 集群的连接地址。

3. 示例配置：

broker.id=1
log.dirs=/opt/kafka/data
log4j.log.level=INFO
zookeeper.connect=localhost:2181

启动 Kafka 服务

创建 Kafka 启动脚本：

sudo vi /etc/init.d/kafka

添加以下内容：

#!/bin/bash
# chkconfig: 2345 90 10
# description: Kafka server
KAFKA_HOME="/opt/kafka/kafka_2.8.0-0.11.0.0"
KAFKA_BIN="$KAFKA_HOME/bin"
ZOOKEEPER_HOME="/opt/kafka/zookeeper"
ZOOKEEPER_BIN="$ZOOKEEPER_HOME/bin"
start() {
    $KAFKA_BIN/kafka-server-start.sh $KAFKA_HOME/config/server.properties
}
stop() {
    $KAFKA_BIN/kafka-server-stop.sh
}
status() {
    echo "Kafka server is running..."
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    status)
        status
        ;;
    restart)
        stop
        start
        ;;
    *)
        echo "Usage: $0 {start|stop|status|restart}"
        ;;
esac
exit 0

使脚本具有可执行权限：

sudo chmod +x /etc/init.d/kafka

启动 Kafka 服务：

sudo service kafka start

FAQs

1. 问题：安装 Kafka 时遇到 Java 版本不支持的错误怎么办？

   解答： 请确保您的系统安装了 Java 8 或更高版本，可以使用 java -version 命令检查 Java 版本，如果版本不满足要求，请按照前面的步骤安装合适的 Java 版本。

2. 问题：Kafka 启动失败，提示找不到 Zookeeper 服务怎么办？

   解答： 请确保 Zookeeper 服务已经启动，您可以使用 sudo service zookeeper start 命令启动 Zookeeper 服务，Zookeeper 也没有安装，请先按照 Zookeeper 的安装步骤进行安装。