网站开发三个流程无锡今日头条新闻

背景

使用flink消费kafka的主题的情况我们经常遇到，通常我们都是不需要感知数据源算子的并行度和kafka主题的并行度之间的关系的，但是其实在kafka的主题分区数大于数据源算子的并行度时，是有一些注意事项的，本文就来讲解下这些注意事项

flink数据源算子并行度大于kafka主题分区数

我们这里的注意事项对于即使做到配置flink数据源算子的并行度和kafka主题一样，但是有一些kafka主题没有消息发送过来的情况是一样的，这里的问题可以归结于以下两点：
1.有些kafka主题在某个时间点之后没有消息发送过来了
2.由于算子并行度大于kafka主题的分区数，有些数据源算子任务根本不会发送水位线到下一个算子任务
解决以上两个问题的方法是：

WatermarkStrategy.<Tuple2<Long, String>>forBoundedOutOfOrderness(Duration.ofSeconds(20)).withIdleness(Duration.ofMinutes(1));

通过设置算子任务的水位线策略允许空闲的方式来做到，不过从源头上来说，为了尽可能均匀的处理数据，我们尽量设置数据源算子的并行度等于kafka的主题数