相关动态
第一节:Kafka简介、基于Centos8.x进行Kafka的搭建与配置、windows下的快速使用
2024-12-27 11:55

一. Kafka简介

 1. 简介

 

 官网:http://kafka.apache.org/

 

2. 优点

 

 

3.常用术语

 

 

4. 与其他消息队列比较

 

 

 

 

二. 搭建与配置

前提准备:

  操作系统:Centos8.0 (腾讯云)

  JDK:jdk11 (rpm包)

  Zookeeper:协调器 【版本3.6.3】

  kafka:【版本2.8.0】

  kafka-manager:  集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作 【版本 1.3.3.7】

  kafkatool:可视化工具

1. 安装jdk

(1). 去官网( https://www.oracle.com/java/technologies/javase-downloads.html) 选择jdk11版本,这里下载rpm包,然后把该安装包copy到ypfInstall目录下。

(2). 运行指令【chmod +x jdk-11.0.11_linux-x64_bin.rpm】给该安装包添加可执行权限。

(3). 运行指令 【 rpm -ivh jdk-11.0.11_linux-x64_bin.rpm 】进行jdk的安装

(4). 查看java版本【java -version】,如下图,说明jdk安装成功。

2. 安装Zookeeper

(1). 去官网(https://zookeeper.apache.org/releases.html)下载 3.6.3  [ apache-zookeeper-3.6.3-bin.tar.gz ] 稳定版本,然后copy到服务器中ypfInstall目录下。

(2). 运行指令【tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz】,进行解压。 然后运行指令【mv apache-zookeeper-3.6.3-bin zookeeper3.6.3】重命名一下,方便后续好操作。

(3). 进入zookeeper的根目录,然后把conf下的zoo_sample.cfg这个文件重命名为zoo.cfg

【cd conf】

【 mv zoo_sample.cfg zoo.cfg]

(4). 进入zookeeper目录下,运行指令【https://www.cnblogs.com/yaopengfei/p/bin/zkServer.sh start】进行启动。   

【https://www.cnblogs.com/yaopengfei/p/bin/zkServer.sh stop】是关闭指令

(4). 运行指令【jps】,如下图,表示启动成功

3. 安装Kafka

(1). 进入官网 (http://kafka.apache.org/downloads) 进行下载,这里下载2.8.0版本(kafka_2.13-2.8.0.tgz),然后copy到服务器中ypfInstall目录下。(PS 不要下载Source download后面的,那是纯源码,需要自己编译)

 

(2). 运行指令【tar -zxvf kafka_2.13-2.8.0.tgz 】进行解压,为了方便操作重命名一下 【mv kafka_2.13-2.8.0 kafka2.8.0】

(3). 修改kafka根目录下 config/server.properties 配置文件,如下

云服务器配置:

注意:上面的配置是云服务器的,需要同时配置内网和外网,如果在本地虚拟机中,只需如下配置:

虚拟机配置:

(4). 启动Kafak

 在kafka的根目录下运行指令 【https://www.cnblogs.com/yaopengfei/p/bin/kafka-server-start.sh -daemon config/server.properties】 进行启动

PS: -daemon 表示后台启动。

运行指令【jps】如下图,表示kafka启动成功。

(5). 关闭Kafak

 在kafka的根目录下运行【https://www.cnblogs.com/yaopengfei/p/bin/kafka-server-stop.sh】

4. 安装Kafka-manager

 (相关使用参考:https://www.cnblogs.com/frankdeng/p/9584870.html)

(1). 进入官网进行下载(https://github.com/yahoo/CMAK/releases),这里下载 kafka-manager-1.3.3.7.zip 版本,并且copy到服务器中的ypfInstall目录下

(2). 运行下面指令,安装解压工具

【yum install -y unzip zip】 

(3). 进行解压 【 unzip kafka-manager-1.3.3.7.zip】

(4). 进入kafka-manager-1.3.3.7的根目录,运行指令【https://www.cnblogs.com/yaopengfei/p/bin/kafka-manager -daemon】进行启动

 

 

三. Windows下的快速使用

1. 说明

   这里以【3.2.0】版本为例,如下目录 F:kafka_2.13-3.2.0binwindows, 即windows操作环境,里面内置了zookeeper,不需要再单独安装。

注:建议把kafka放到某个磁盘的根目录下,否则目录太长导致启动指令无效。 

PS:zookeeper对应的配置文件 config/zookeeper.properties         kafka对应的配置文件  config/server.properties

        默认数据持久化在kafka统计目录下的tmp文件夹下:

2. 使用

(1). cmd下的指令

    启动zookeeper:zookeeper-server-start.bat https://www.cnblogs.com/config/zookeeper.properties

    启动kafka: 【kafka-server-start.bat https://www.cnblogs.com/config/server.properties】

(2). powershell下的指令

    启动zookeeper:https://www.cnblogs.com/yaopengfei/p/zookeeper-server-start.bat https://www.cnblogs.com/config/zookeeper.properties

    启动kafka:https://www.cnblogs.com/yaopengfei/p/kafka-server-start.bat https://www.cnblogs.com/config/server.properties

注:powershell下的指令类似linux,当前目录需要写:  https://www.cnblogs.com/yaopengfei/p/  符号。

3. 可视化工具

 使用kafka tools进行链接zookeeper,默认端口为 2181

 

 

 

 

 

    以上就是本篇文章【第一节:Kafka简介、基于Centos8.x进行Kafka的搭建与配置、windows下的快速使用】的全部内容了,欢迎阅览 ! 文章地址:http://ww.kub2b.com/news/13818.html
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 企库往资讯移动站 http://ww.kub2b.com/mobile/ , 查看更多   
智能家居“伪智能”、直播间买到的羽绒服穿不了……江苏一季度消费投诉热点出炉
4月9日,江苏省消费者权益保护委员会发布2025年一季度消费投诉及舆情热点报告。一季度全省消保委系统受理投诉51464件,接待消费
智能手机传感器及作用大盘点手机的作用「智能手机传感器及作用大盘点」
已经成为不可思议的小机器,几十年前,这样的设备只存在于科幻小说。如果回到几十年前,人们可能会认为是魔法。现在已经成为最普
您知道唐僧师徒在南通长牌中分别是谁吗?
《西游记》中,猪八戒与孙悟空对峙打斗时,曾经这样说“放生遭贬出天关,福陵山下图家业。我因有罪错投胎,俗名唤做猪刚鬣”,这
【华为】新版模拟器eNSP Lite安装攻略提前解锁华为手机模拟器「【华为】新版模拟器eNSP Lite安装攻略提前解锁」
新版模拟器eNSP Lite资源下载:华为新版模拟器eNSPLite镜像资源资源-CSDN文库    最近华为发布了新版模拟器eNSP Lite
Android监控虚拟键 android手机虚拟摄像头手机IM「Android监控虚拟键 android手机虚拟摄像头」
在工作中,camera这一块上,可能会有各种各样的需求。比如有人想新增一个虚拟摄像头,当用户app打开摄像头设备时,打开的不是系
微信语音怎么提取到电脑【苹果安卓手机】苹果手机备份到电脑「微信语音怎么提取到电脑【苹果安卓手机】」
微信语音中可能保存着一些温馨记忆,如年迈父母发给自己的语音消息,微信语音中也可能保存着知识技能,如培训老师发给自己的各种
修成正果!安东尼已被通知入选2025年奈史密斯篮球名人堂
北京时间4月3日讯 据Shams Charania报道,十次入选NBA全明星的卡梅隆·安东尼已获通知,他被选入2025年奈史密斯篮球名人堂。曾六
在任意手机上使用带有图形化界面(GUI)的完整Linuxlinux手机「在任意手机上使用带有图形化界面(GUI)的完整Linux」
不过,在我们今天的任务中只有运行者两者。这篇教程不会讲述任何运行后的自定义使用。不同于之前的两次尝试——安装Window
腾讯史上最大就业计划技术岗超六成,大厂加码AI人才校招
4月17日,腾讯宣布启动史上最大就业计划,三年内将新增28000个实习岗位并加大转化录用,仅2025年将迎来10000名校招实习生。在大
纪律处罚消息两则:海港主教练穆斯卡特停赛1场罚款1万 & 广东男篮外援莫兰德罚款3万
各CBA俱乐部、赛区:2025年4月8日,2024-2025赛季CBA联赛季后赛12进8阶段场序467,上海久事大鲨鱼俱乐部久事篮球队与广东宏远华