请问大数据平台容器化后HDFS运行在哪里?

请问大数据平台容器化之后,flink、spark等计算任务运行到容器上了,那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里?读写性能相对原有物理机部署模式有多大差异?显示全部

请问大数据平台容器化之后,flink、spark等计算任务运行到容器上了,那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里?读写性能相对原有物理机部署模式有多大差异?

收起
参与7

查看其它 2 个回答dean25的回答

dean25dean25课题专家组软件架构设计师民生银行

大数据平台容器化之后,flink、spark等计算任务运行到容器上了,那相应原有部署模式下计算任务读写数据存储的HDFS运行在哪里?
根据你的问题,我谈谈我的一些经验和看法,大数据容器化混合部署后,容器化只是计算部分容器化,作业容器也是运行在物理的容器宿主机上,计算部分性能和原有物理机部署方式没有差异。hdfs可以还是用原有的hdfs,实现存算分离。 通过测试,存储密集型作业性能在存算分离场景下有一定影响(<15%),但是在可接受的范围内。希望这个可以对你有帮助。

银行 · 2024-05-08
浏览140

回答者

dean25
软件架构设计师民生银行
擅长领域: 云计算容器容器云

dean25 最近回答过的问题

回答状态

  • 发布时间:2024-05-08
  • 关注会员:4 人
  • 回答浏览:140
  • X社区推广