Kafka容器持久化方案对比?

测试报告中Kafka+OKD+华为OceanStor Dorado NAS的方案,如果KAFKA持久化方案是否可以使用对象存储方案呢?这两种方案有啥优劣势呢?

参与13

3同行回答

本次测试中没有实测使用对象存储的性能。原理上看,Kafka产生的以海量小IO小文件为主,且要求高速读写,从workload诉求出发,不太适合对象存储场景。显示全部

本次测试中没有实测使用对象存储的性能。原理上看,Kafka产生的以海量小IO小文件为主,且要求高速读写,从workload诉求出发,不太适合对象存储场景。

收起
硬件生产 · 2023-05-15
浏览836
罗文江罗文江课题专家组云计算架构师某银行
使用K8S的CSI可以使用对象存储,但是其原理是通过FUSE方式模拟实现的用户态文件系统。对于写场景稳定性欠佳和网络性能欠佳,只可支撑一些小文件的读场景。      不宜用在KAFKA这类读写I/O敏感的场景。...显示全部

使用K8S的CSI可以使用对象存储,但是其原理是通过FUSE方式模拟实现的用户态文件系统。对于写场景稳定性欠佳和网络性能欠佳,只可支撑一些小文件的读场景。      不宜用在KAFKA这类读写I/O敏感的场景。

收起
银行 · 2023-05-10
浏览835
匿名用户匿名用户
了解一下,没接触过这类内容,看看大佬如何解答显示全部

了解一下,没接触过这类内容,看看大佬如何解答

收起
系统集成 · 2023-06-08
浏览671

ChatGPT 回答

在银行行业中,Kafka通常用于数据传输和消息队列,而OpenShift是一种容器化平台,可以帮助银行业务快速部署和扩展。华为NAS是一种网络附加存储设备,可以提供高性能的存储服务。

对于Kafka持久化方案,可以使用对象存储方案来实现。对象存储是一种分布式存储系统,可以提供高可用性、高扩展性和高性能的存储服务。与传统的块存储和文件存储不同,对象存储将数据存储为对象,每个对象都有唯一的标识符,可以通过HTTP或其他协议进行访问。

使用对象存储方案的优势包括:

  1. 高可用性:对象存储通常采用多副本存储方式,可以提供高可用性和数据冗余。
  2. 高扩展性:对象存储可以轻松扩展存储容量,支持PB级别的数据存储。
  3. 高性能:对象存储可以提供高性能的读写速度,支持并发访问。
  4. 低成本:对象存储通常采用分布式架构,可以降低存储成本。

使用对象存储方案的劣势包括:

  1. 不支持原子操作:对象存储不支持原子操作,可能会导致数据一致性问题。
  2. 不支持随机访问:对象存储不支持随机访问,只能通过对象标识符进行访问。
  3. 不支持文件锁定:对象存储不支持文件锁定,可能会导致并发访问问题。
  4. 不支持文件系统操作:对象存储不支持文件系统操作,可能会导致应用程序兼容性问题。

综上所述,Kafka持久化方案可以使用对象存储方案来实现,对象存储方案具有高可用性、高扩展性、高性能和低成本的优势,但不支持原子操作、随机访问、文件锁定和文件系统操作。在选择方案时,需要根据具体业务需求进行权衡和选择。

提问者

yyf123
系统工程师威海市商业银行
擅长领域: 数据库信创关系型数据库

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-05-10
  • 关注会员:4 人
  • 问题浏览:1855
  • 最近回答:2023-06-08
  • X社区推广