江苏建设教育协会网站企业邮箱域名
1 简介
集群和资源模块提供动态资源能力，是分布式系统关键基础设施，分布式datax，分布式索引，事件引擎都需要集群和资源的弹性资源能力，提高伸缩性和作业处理能力。本文分析flink的集群和资源的k8s模块，深入了解其设计原理，为开发自有的集群和资源组件做技术准备, 同时涉及作业管理器，slot pool，但不深入调度器。
本文分析基于flink 1.17版本，不同版本代码差异比较大
2 关键词
作业管理器
资源管理器
任务管理器
3 参考资料
flink官方网站 https://flink.apache.org/
4 flink整体架构
上图展示flink整体架构，本文分析集群和资源
5 flink运行架构
运行架构，按调用顺序展示flink集群启动，作业提交处理组件互动
总体上，集群是mater-worker架构，上图是flink的抽象架构，一个优秀架构可以抽象，第六章介绍架构”具体” k8s实现