spark.streaming.kafka.maxRatePerPartition
面试问到这个参数 真没用过。。。从网上找了下https://blog.csdn.net/onway_goahead/article/details/95041760spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的,一般和spark.streaming.backpressure.enabled=true一起使用。那么应该怎么算这个值呢。如例要1
面试问到这个参数 真没用过。。。
从网上找了下
https://blog.csdn.net/onway_goahead/article/details/95041760
spark.streaming.kafka.maxRatePerPartition这个参数是控制吞吐量的,一般和spark.streaming.backpressure.enabled=true一起使用。那么应该怎么算这个值呢。
如例要10分钟的吞吐量控制在5000,0000,kafka分区是10个。
spark.streaming.kafka.maxRatePerPartition=8400这个值是怎么算的呢。如下是公式
spark.streaming.kafka.maxRatePerPartition的值 * kafka分区数 * (10 *60)(每秒时间)
-
GitCode 天启AI是一款由 GitCode 团队打造的智能助手,基于先进的LLM(大语言模型)与多智能体 Agent 技术构建,致力于为用户提供高效、智能、多模态的创作与开发支持。它不仅支持自然语言对话,还具备处理文件、生成 PPT、撰写分析报告、开发 Web 应用等多项能力,真正做到“一句话,让 Al帮你完成复杂任务”。
更多推荐


所有评论(0)