文档地址
RocketMQ架构
哔哩哔哩上的视频
mq有很多,近期买了《分布式消息中间件实践》这本书,学习关于mq的相关知识。mq大致有有4个功能:
异步处理。比如业务端需要给用户发送邮件,不需要等发送完了之后才让业务端的调用代码返回。服务解耦。服务之间调用不需要在代码上写死调用某某服务,只需要发送一个消息即可。这种发送消息的处理一般都是立即返回。类似于生成一个后台job。流量削峰。业务系统在做活动的时候短时间内的流量会特别大,基于mq的队列的特性,可以处理这个瞬时流量过大的问题,减轻后端压力。消息通讯。主要是订阅机制,类似聊天室。
内容介绍
低延时的分布式消息处理平台,高性能,可扩展,万亿级。由4个部分构成。name server,broker(消息代理人),producer,consumers。这4个都能水平扩展(做成集群的方式)来避免单点故障。
NameServers (集群)
NameServer是一个完整的功能性服务。主要包含以下两个方面:
Broker管理。接收Broker集群过来的注册消息,然后提供心跳包机制来检查Broker是否还存活。路由管理。每一个NameServer都包含关于Broker的完整路由信息,并且队列化处理客户端的查询请求。
有4种方式用于客户端指定NameServer的地址。
编程方式。类似producer.setNamesrvAddr("ip:port")
Java 配置。使用rocketmq.namesrv.addr
环境变量。使用NAMESRV_ADDR
http 端点。
提供轻量的服务发现与路由,每一个Name Server记录完整的路由信息,提供相应的读写服务,同时支持快速存储扩展。
Broker (集群)
Broker负责消息的存储和分发,消息查询,高可用保证等。模块如下图所示。
所以,他有以下几个比较重要的子模块:
远程模块。Broker的入口,用于接收客户端过来的请求。客户端管理。用于(生产者/消费者)模式的客户端管理,维护消费者对主题的订阅。存储服务。提供一些简单的api用于查询or存储物理磁盘上的消息。高可用保证服务。提供主从Broker之间的数据同步特性。索引服务。通过特定的key对消息构建索引,然后提供消息查询。
通过提供轻量级的主题队列机制来负责消息的储存。支持推拉模式,包含错误容忍机制(2或3份拷贝)。消息的顺序处理。提供容灾回复,预警机制等。
Producer (集群)
生产者提供分布式部署。分布式的生产者通过负载均衡的方式发送消息给Broker。支持快速错误反馈,并且低延迟。
Consumer (集群)
消费者也支持在推/拉模式中的分布式部署。支持集群消费+消息广播。提供实时的消息订阅机制以满足大部分需求。
如何运行(单机测试环境)
下载
安装包就好(源码也行),然后解压
wget http://mirrors.tuna./apache/rocketmq/4.5.1/rocketmq-all-4.5.1-bin-release.zipunzip rocketmq-all-4.5.1-bin-release.zip -d /usr/lib/rocketmq/
改一些配置
环境变量
#配置64位jdk是必须的---这里跳过export ROCKETMQ_HOME=/usr/lib/rocketmq/rocketmq #这个不是必须,只是方便下面操作source ~/.bash_profile #使配置生效一下rm -f ~/logs/rocketmqlogs/*.log # 把日志清了,方便查看
启动参数
rocketmq默认的内存配置要求对我们的测试服务器要求太高了,改低一点。
vim $ROCKETMQ_HOME/bin/runserver.sh# 把第39行改成JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g" #最小,启动,最大都是1gvim $ROCKETMQ_HOME/bin/runbroker.sh# 把39行改成JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g" # 同上面
broker配置
vim $ROCKETMQ_HOME/conf/broker.conf# 加这些配置brokerIP1 = 192.168.3.20 #此broker的ipnamesvrAddr=192.168.3.20:9876 #nameServer地址,集群的话需要分号分隔。
启动NameServer
因为需要NameServer来管理Broker,所以先启动NameServer。默认的日志地址为~/logs/rocketmqlogs
。
nohup sh $ROCKETMQ_HOME/bin/mqnamesrv & # 以忽略挂起信号的方式启动nameservertail -f ~/logs/rocketmqlogs/namesrv.log # 监控的方式查看日志尾部
启动Broker
消息要通过Broker来分发,NameServer也已经启动,所以现在可以启动Broker。
nohup sh $ROCKETMQ_HOME/bin/mqbroker -c $ROCKETMQ_HOME/conf/broker.conf &tail -f ~/logs/rocketmqlogs/broker.log
web站点查看
这里需要去下载这个,里面有个rocketmq-console。需要修改一个地方。rocketmq-externals/rocketmq-console/src/main/resources/application.properties
,
rocketmq.config.namesrvAddr=192.168.3.20:9876 #改成对应的namesrvAddr 地址
服务器上需要开放几个端口用于console的连接,如果没有配置,就是默认的:9876,10911,10909
firewall-cmd --zone=public --add-port=9876/tcp --permanentfirewall-cmd --reload
然后就能查看了。
发送、接收消息
后续通过代码客户端的方式来实践。
关闭服务
sh $ROCKETMQ_HOME/bin/mqshutdown broker #先关了Brokersh $ROCKETMQ_HOME/bin/mqshutdown namesrv #再关闭nameserver