avatar
文章
94
标签
89
分类
16
首页
归档
标签
分类
关于
虾壳
搜索
首页
归档
标签
分类
关于

Kafka

发表于2024-02-26|更新于2024-02-26|JavaJava教程
|字数总计:5|阅读时长:1分钟|阅读量:
文章作者: 虾壳
文章链接: http://yagote.github.io/2024/02/26/kafka/
版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 虾壳！
教程Kafka消息队列
上一篇
Java项目（一）
下一篇
Dubbo
相关推荐
2023-10-02
Kafka旧
2023-11-08
RabbitMQ
2023-10-02
RocketMQ
目录
  1. 一、Kafka概述
    1. 1、Kafka介绍
    2. 2、Kafka 基础架构
    3. 3、消息队列的两种模式
      1. 3.1 点对点模式
      2. 3.2 发布/订阅模式
  2. 二、Kafka快速入门
    1. 1、安装部署
      1. 1.1 集群规划
      2. 1.2 集群部署
      3. 1.3 集群启停脚本
    2. 2、Kafka命令行操作
      1. 2.1 主题命令行操作
      2. 2.2 生产者命令行操作
      3. 2.3 消费者命令行操作
  3. 三、Kafka生产者
    1. 1、生产者消息发送流程
      1. 1.1 发送原理
      2. 1.2 生产者重要参数列表
    2. 2、异步发送 API
      1. 2.1 普通异步发送
      2. 2.2 带回调函数的异步发送
    3. 3、同步发送API
    4. 4、生产者分区
      1. 4.1 分区好处
      2. 4.2 生产者发送消息的分区策略
      3. 4.3 自定义分区器
    5. 5、生产者提高吞吐量
    6. 6、数据可靠性
    7. 7、数据去重
      1. 7.1 幂等性
      2. 7.2 生产者事务
    8. 8、数据有序
    9. 9、数据乱序
  4. 四、Kafka Broker
    1. 1、Kafka Broker工作流程
      1. 1.1 Zookeeper存储的Kafka信息
      2. 1.2 Kafka Broker总体工作流程
      3. 1.3 Broker重要参数
    2. 2、节点服役和退役
      1. 2.1 服役新节点
      2. 2.2 退役旧节点
    3. 3、Kafka 副本
      1. 3.1 副本基本信息
      2. 3.2 Leader选举流程
      3. 3.3 Leader和Follower故障处理
      4. 3.4 分区副本分配
      5. 3.5 手动调整分区副本存储
      6. 3.6 Leader Partition负载平衡
      7. 4.7 增加副本因子
    4. 4、文件存储
      1. 4.1 文件存储机制
      2. 4.2 文件清理策略
    5. 5、高效读写数据
  5. 五、Kafka 消费者
    1. 1、Kafka 消费方式
    2. 2、Kafka 消费者工作流程
      1. 2.1 消费者总体工作流程
      2. 2.2 消费者组原理
      3. 2.3 消费者重要参数
    3. 3、消费者API
      1. 3.1 独立消费者案例（订阅主题）
      2. 3.2 独立消费者案例（订阅分区）
      3. 3.3 消费者组案例
    4. 4、分区的分配以及再平衡
      1. 4.1 Range以及再平衡
        1. 4.1.1 Range分区策略原理
        2. 4.1.2 Range分区分配策略案例
        3. 4.1.3 Range分区分配再平衡案例
      2. 4.2 RoundRobin以及再平衡
        1. 4.2.1 RoundRobin分区策略原理
        2. 4.2.2 RoundRobin分区分配策略案例
        3. 4.2.3 RoundRobin分区分配再平衡案例
      3. 4.3 Sticky以及再平衡
    5. 5、offset位移
      1. 5.1 offset的默认维护位置
      2. 5.2 自动提交offset
      3. 5.3 手动提交offset
        1. 5.3.1 同步提交 offset
        2. 5.3.2 异步提交 offset
      4. 5.4 指定Offset消费
      5. 5.5 指定时间消费
      6. 5.6 漏消费和重复消费
    6. 6、消费者事务
    7. 7、数据积压
  6. 六、Kafka-Eagle监控
    1. 1、MySQL环境准备
    2. 2、Kafka环境准备
    3. 3、Kafka-Eagle安装
    4. 4、Kafka-Eagle页面操作
  7. 七、Kafka-Kraft架构
    1. 1、Kafka-Kraft架构
    2. 2、Kafka-Kraft集群部署
    3. 3、Kafka-Kraft集群启动停止脚本
  8. 八、SpringBoot集成Kafka
    1. 1、SpringBoot生产者
    2. 2、SpringBoot消费者
  9. 九、Kafka生产调优
    1. 1、内存选择
    2. 2、Kafka生产者
      1. 2.1 生产者核心参数配置
      2. 2.2 生产者如何提高吞吐量
      3. 2.3 数据可靠性
      4. 2.4 数据去重
      5. 2.5 数据有序
      6. 2.6 数据乱序
    3. 3、Kafka Broker
    4. 4、Kafka消费者
      1. 4.1 消费者核心参数配置
      2. 4.2 消费者再平衡
      3. 4.3 消费者提高吞吐量
Copyright © 2021 - present 虾壳
搜索
数据库加载中