0
回答
flink 读取使用kafka作为数据源,提交到flink集群后,只有一台机器能正常消费kafka的数据,要怎么处理才可以让所有的节点并行处理kafka数据
华为云数据库免费试用   

@阿里云官方博客 你好,想跟你请教个问题:

各位好:刚开始学习flink,有个问题请教:

 我搭建了有5个节点的flink集群(standalone 模式),启动flink(./start-cluster)后可以看到每个节点都是正常的。主要代码逻辑为:通过flink消费kafka的数据,完成一段业务逻辑的计算,打包在服务器上master提交后,任务只在一个节点上运行,

执行命令如下:

./flink run -p 10 -d -c com.gennlife.FlinkApplicationStarter ../../rws-streaming-flink.jar --zk.connection.urls 10.0.2.17:2181,10.0.2.18:2181,10.0.2.79:2181 --kafka.brokers 10.0.2.17:9092,10.0.218:9092  --group.id testflink --topic flinktest2

      当向kafka 中推送数据时,发现只有一台机器在执行读取和计算的,其他都没有计算。        我希望可以有多个机器同时并发的去读取kafka并完成计算,这个要怎么提交任务或者说要进行其他的哪些处理呢?

     说明:我把接收到的小时通过broadcast()函数广播后,返现所有几点都在计算,但是计算的数据确实重复的。

 

谢谢。

<无标签>
举报
刘朕
发帖于8个月前 0回/236阅
顶部