腾讯云消息队列CKafka性能和优点

腾讯云消息队列 CKafka 是一个分布式的、高吞吐量、高可扩展性消息队列服务,基于发布/订阅模式,通过消息解耦,使生产者和消费者异步交互,无需彼此等待。腾讯云CKafka 具有数据压缩、同时支持离线和实时数据处理等优点,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺的产品之一。
 
腾讯云消息队列CKafka相关概念
Topic
消息主题。消息的生产与消费,围绕消息主题进行生产、消费以及其他消息管理操作。
 
Topic也是消息队列的一种发布与订阅消息模型。生产者向消息主题发布消息,多个消费者订阅该消息主题的消息,生产者与消费者彼此并无直接关系。
 
生产者(Producer)
向Topic(消息主题)发布消息的一方。发布消息的最终目的在于将消息内容传递给其他系统/模块,使对方按照约定处理该消息。
 
消费者(Consumer)
从Topic(消息主题)订阅消息的一方。订阅消息最终目的在于处理消息内容,如日志集成场景中,监控告警平台(消费者)从主题订阅日志消息,识别出告警日志并发送告警消息/邮件。
 
节点(Broker)
即腾讯云CKafka集群架构设计中的单个腾讯云CKafka进程,一个腾讯云CKafka进程对应一台服务器,因此手册中描述的节点,还包括对应的存储、带宽等服务器资源。
 
分区(Partition)
为了实现水平扩展与高可用,腾讯云CKafka将Topic划分为多个分区,消息被分布式存储在分区中。
 
副本(Replica)
消息的备份存储。为了确保消息可靠,腾讯云CKafka创建Topic时,每个分区会分别从节点中选择1个或多个,对消息进行冗余存储。
 
Topic的所有消息分布式存储在各个分区上,分区在每个副本存储一份全量数据,副本之间的消息数据保持同步,任何一个副本不可用,数据都不会丢失。
 
每个分区都随机挑选一个副本作为Leader,该分区所有消息的生产与消费都在Leader副本上完成,消息从Leader副本复制到其他副本(Follower)。
 
腾讯云CKafka的主题和分区属于逻辑概念,副本与节点属于物理概念。下图通过消息的生产与消费流向,解释了腾讯云CKafka的分区、节点与主题间的关系。
 
腾讯云消息队列CKafka产品优点
一键式部署:
支持用户只需要在实例管理界面点击申请按钮,提交订单。后台将在几分钟内自动创建部署完成一整套腾讯云CKafka实例。 丰富规格可选 可提供多种不同的规格,满足用户不同需求,用户可自行选择适合自己的规格。 高性能 高吞吐量,低延时,消息队列性能高 全托管服务 提供全托管服务,用户只需专注于业务开发,无需部署运维,更专业、更弹性、更可靠
 
腾讯云消息队列CKafka应用场景
日志分析:
应用程序可以把日志集中发到腾讯云CKafka中,无需记录到本地,再由专门的日志管理程序从腾讯云CKafka中取处理。对于多个进程读写同一个日志文件的场景,可以避免日志文件的加锁操作。也可以对腾讯云CKafka中的日志进行实时分析。构建应用系统和分析系统的桥梁,将它们之间解耦。
1、采集日志时业务无感知; 2、Hadoop等离线仓库存储和Storm/Spark等实时在线分析对接;
 
数据中转
近年来KV存储(HBase)、搜索(ElasticSearch)、流式处理(Storm/Spark Streaming)、时序数据库等等专用系统应运而生,产生了同一份数据集需要被注入到多个专用系统内的需求。利用腾讯云CKafka 作为数据中转枢纽,同份数据可以被导入到不同专用系统中。
 
流计算处理
由于数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需求。而腾讯云CKafka 以及 Storm/Samza/Spark 等流计算引擎的出现,可以根据业务需求对数据进行计算分析,最终把结果保存或者分发给需要的组件
 
腾讯云消息队列CKafka计费模式
消息队列 腾讯云CKafka 计费模式:
包年包月(预付费)
在包年包月计费模式下,您需预付费,再使用。涉及的计费项目有:流量峰值以及磁盘容量。

存储类型 价格/月
高效云盘 35元/100G
SSD 100元/100G
类型 实例规格(MB/s) 计费单位 月度付费(元/月)
VPC实例 20 元/月 1722.00
VPC实例 30 元/月 2492.00

例如,购买 1 个消息队列 Kafka 的标准版 VPC 实例,服务期为 1个月,您根据您的读写流量峰值之和购买 30 MB/s 规格, 并购买 600 GB 的 SSD 磁盘容量,则您的消费账单为: 2492+ 600/100 x 100=3092元/月