跳至主要內容
Kafka - 高级使用

来源：尚硅谷，Seven对其进行了补充完善

Kafka 生产者

生产者消息发送流程

发送原理

  1. 在消息发送的过程中，涉及到两个线程，main线程和sender线程，

  2. main线程是消息的生产线程

  3. sender线程是jvm单例的线程，专门用于消息的发送。

  4. 在jvm的内存中开辟了一块缓存空间叫RecordAccumulator（消息累加器），用于将多条消息合并成一个批次，然后由sender线程发送给kafka集群。

Kafka - 入门

来源：尚硅谷，Seven对其进行了补充完善

Kafka基础架构

在Kafka2.8版本前，Zookeeper的Consumer文件中存放消息被消费的记录（offset）

在Kafka2.8版本走，消息被消费的记录（offset）存放在Kafka中。

RocketMQ - 入门

RocketMQ快速入门

RocketMQ是阿里巴巴2016年MQ中间件，使用Java语言开发，在阿里内部，RocketMQ承接了例如“双11”等高并发场景的消息流转，能够处理万亿级别的消息。

准备工作

下载RocketMQ

RocketMQ 下载地址

RabbitMQ - 入门

来源：黑马程序员

RabbitMQ介绍

RabbitMQ是基于Erlang语言开发的开源消息通信中间件，官网地址：
Messaging that just works — RabbitMQ
接下来，我们就学习它的基本概念和基础用法。

安装

在安装命令中有两个映射的端口：

  • 15672：RabbitMQ提供的管理控制台的端口
  • 5672：RabbitMQ的消息发送处理接口
RocketMQ - 各种场景

来源：稀土掘金社区

RocketMQ的基本原理

RocketMQ基本架构图如下

从这个架构图上我们可以知道，RocketMQ有4块核心部分：

  • NameServer：管理Broker的信息，让使用MQ的系统感知到集群里面的broker

  • Broker：主从架构实现数据多副本存储和高可用

  • producer：生产者

  • consumer：消费者

RabbitMQ - 高级使用

来源：黑马程序员

概述

在支付场景中，支付成功后利用RabbitMQ通知交易服务，更新业务订单状态为已支付。但是大家思考一下，如果这里MQ通知失败，支付服务中支付流水显示支付成功，而交易服务中的订单状态却显示未支付，数据出现了不一致。此时前端发送请求查询支付状态时，肯定是查询交易服务状态，会发现业务订单未支付，而用户自己知道已经支付成功，这就导致用户体验不一致。

因此，这里必须尽可能确保MQ消息的可靠性，即：消息应该至少被消费者处理1次

那么问题来了：

  • 该如何确保MQ消息的可靠性？
  • 如果真的发送失败，有没有其它的兜底方案？
RocketMQ - 高级使用

消息存储

分布式队列因为有高可靠性的要求，所以数据要进行持久化存储。

  1. 消息生成者发送消息
  2. MQ收到消息，将消息进行持久化，在存储中新增一条记录
  3. 返回ACK给生产者
  4. MQ push 消息给对应的消费者，然后等待消费者返回ACK
  5. 如果消息消费者在指定时间内成功返回ack，那么MQ认为消息消费成功，在存储中删除消息，即执行第6步；如果MQ在指定时间内没有收到ACK，则认为消息消费失败，会尝试重新push消息,重复执行4、5、6步骤
  6. MQ删除消息