推广 热搜: page  音视频  使用  个数  搜索引擎  选择  父亲  百度  企业  可以 

第一节:Kafka简介、基于Centos8.x进行Kafka的搭建与配置、windows下的快速使用

   日期:2024-12-27     作者:nsxg2    caijiyuan   评论:0    移动:http://ww.kub2b.com/mobile/news/13818.html
核心提示:一.Kafka简介1.简介官网:http://kafka.apache.org/2.优点3.常用术语4.与其他消息队列比较二.搭建与配置前提准备:  操作系统

一. Kafka简介

 1. 简介

 

 官网:http://kafka.apache.org/

 

2. 优点

 

 

3.常用术语

 

 

4. 与其他消息队列比较

 

 

 

 

二. 搭建与配置

前提准备:

  操作系统:Centos8.0 (腾讯云)

  JDK:jdk11 (rpm包)

  Zookeeper:协调器 【版本3.6.3】

  kafka:【版本2.8.0】

  kafka-manager:  集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作 【版本 1.3.3.7】

  kafkatool:可视化工具

1. 安装jdk

(1). 去官网( https://www.oracle.com/java/technologies/javase-downloads.html) 选择jdk11版本,这里下载rpm包,然后把该安装包copy到ypfInstall目录下。

(2). 运行指令【chmod +x jdk-11.0.11_linux-x64_bin.rpm】给该安装包添加可执行权限。

(3). 运行指令 【 rpm -ivh jdk-11.0.11_linux-x64_bin.rpm 】进行jdk的安装

(4). 查看java版本【java -version】,如下图,说明jdk安装成功。

2. 安装Zookeeper

(1). 去官网(https://zookeeper.apache.org/releases.html)下载 3.6.3  [ apache-zookeeper-3.6.3-bin.tar.gz ] 稳定版本,然后copy到服务器中ypfInstall目录下。

(2). 运行指令【tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz】,进行解压。 然后运行指令【mv apache-zookeeper-3.6.3-bin zookeeper3.6.3】重命名一下,方便后续好操作。

(3). 进入zookeeper的根目录,然后把conf下的zoo_sample.cfg这个文件重命名为zoo.cfg

【cd conf】

【 mv zoo_sample.cfg zoo.cfg]

(4). 进入zookeeper目录下,运行指令【https://www.cnblogs.com/yaopengfei/p/bin/zkServer.sh start】进行启动。   

【https://www.cnblogs.com/yaopengfei/p/bin/zkServer.sh stop】是关闭指令

(4). 运行指令【jps】,如下图,表示启动成功

3. 安装Kafka

(1). 进入官网 (http://kafka.apache.org/downloads) 进行下载,这里下载2.8.0版本(kafka_2.13-2.8.0.tgz),然后copy到服务器中ypfInstall目录下。(PS 不要下载Source download后面的,那是纯源码,需要自己编译)

 

(2). 运行指令【tar -zxvf kafka_2.13-2.8.0.tgz 】进行解压,为了方便操作重命名一下 【mv kafka_2.13-2.8.0 kafka2.8.0】

(3). 修改kafka根目录下 config/server.properties 配置文件,如下

云服务器配置:

注意:上面的配置是云服务器的,需要同时配置内网和外网,如果在本地虚拟机中,只需如下配置:

虚拟机配置:

(4). 启动Kafak

 在kafka的根目录下运行指令 【https://www.cnblogs.com/yaopengfei/p/bin/kafka-server-start.sh -daemon config/server.properties】 进行启动

PS: -daemon 表示后台启动。

运行指令【jps】如下图,表示kafka启动成功。

(5). 关闭Kafak

 在kafka的根目录下运行【https://www.cnblogs.com/yaopengfei/p/bin/kafka-server-stop.sh】

4. 安装Kafka-manager

 (相关使用参考:https://www.cnblogs.com/frankdeng/p/9584870.html)

(1). 进入官网进行下载(https://github.com/yahoo/CMAK/releases),这里下载 kafka-manager-1.3.3.7.zip 版本,并且copy到服务器中的ypfInstall目录下

(2). 运行下面指令,安装解压工具

【yum install -y unzip zip】 

(3). 进行解压 【 unzip kafka-manager-1.3.3.7.zip】

(4). 进入kafka-manager-1.3.3.7的根目录,运行指令【https://www.cnblogs.com/yaopengfei/p/bin/kafka-manager -daemon】进行启动

 

 

三. Windows下的快速使用

1. 说明

   这里以【3.2.0】版本为例,如下目录 F:kafka_2.13-3.2.0binwindows, 即windows操作环境,里面内置了zookeeper,不需要再单独安装。

注:建议把kafka放到某个磁盘的根目录下,否则目录太长导致启动指令无效。 

PS:zookeeper对应的配置文件 config/zookeeper.properties         kafka对应的配置文件  config/server.properties

        默认数据持久化在kafka统计目录下的tmp文件夹下:

2. 使用

(1). cmd下的指令

    启动zookeeper:zookeeper-server-start.bat https://www.cnblogs.com/config/zookeeper.properties

    启动kafka: 【kafka-server-start.bat https://www.cnblogs.com/config/server.properties】

(2). powershell下的指令

    启动zookeeper:https://www.cnblogs.com/yaopengfei/p/zookeeper-server-start.bat https://www.cnblogs.com/config/zookeeper.properties

    启动kafka:https://www.cnblogs.com/yaopengfei/p/kafka-server-start.bat https://www.cnblogs.com/config/server.properties

注:powershell下的指令类似linux,当前目录需要写:  https://www.cnblogs.com/yaopengfei/p/  符号。

3. 可视化工具

 使用kafka tools进行链接zookeeper,默认端口为 2181

 

 

 

 

 

本文地址:http://ww.kub2b.com/news/13818.html     企库往 http://ww.kub2b.com/ ,  查看更多

特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。

 
 
更多>同类最新文章
0相关评论

文章列表
相关文章
最新动态
推荐图文
最新文章
点击排行