Flink+Kafka深度调优：流处理延迟直降70%

文章配图，仅供参考

　　那会儿我刚把手机从20%充到30%，饮水机换桶的动静大得盖过键盘声，隔壁工位小张还在打印物料，打印机“咔嚓咔嚓”的响，听得人脑仁疼。我盯着Flink UI里那个“pending”的checkpoint，突然想起上周产品非要加的那三个实时指标——每个指标都要从Kafka捞全量数据，算完再塞回另一个topic，这他妈不是套娃吗？

　　当时我跟设计组吵过一架——他们非要在活动页加动态粒子效果，我说每秒多渲染200个DOM节点，Flink的消费延迟至少涨30%，结果他们回我“用户停留时长能多5秒”。现在好了，延迟从3秒涨到10秒，用户早他妈滑走看下一个活动了，停留时长倒是涨了，可转化率掉得比电梯失重还快。

　　后来拉着运维连夜调参，先是把Kafka的`num.network.threads`从3怼到8——我原以为网络线程多就能扛住，结果发现生产者堵在`RecordAccumulator`里，`batch.size`设得太大，消息攒够5MB才发一次，这他妈不是自己给自己挖坑吗？改完线程数，又把`linger.ms`从500ms砍到50ms，生产者终于不憋着了，可消费者那边又出问题——`fetch.min.bytes`设了1MB，小流量时段根本凑不够，消费者线程全在空转。

　　最绝的是Flink的配置——`taskmanager.network.memory.fraction`我设了0.4，结果反压警报响得比消防车还勤。后来翻日志才发现，checkpoint超时的时候，网络缓冲区占满，数据发不出去，任务管理器直接卡死。我原以为0.4够大了，结果运维说“你当这是Hadoop啊？流处理要的是快，不是稳”，一语点醒梦中人——我把内存分数砍到0.2，反压警报立马消失，延迟从10秒掉到3秒。

　　那会儿会议室一直被占着，我们只能在工位上调试，桌上那张手写的排期表被茶水浸了，墨迹晕成一片，只能勉强看出“5.15上线”几个字。我盯着模糊的日期，突然想起上周测试环境的数据——同样配置，延迟能稳定在1秒以内，怎么到生产环境就拉胯？后来才发现，测试环境的Kafka只有3个分区，生产环境为了“高可用”扩到30个，分区多了，消费者协调开销暴涨，`fetch.max.wait.ms`设得再低也没用。

　　最坑的是产品非要加“实时热榜”——每5秒更新一次，要从Kafka捞最近10分钟的点击数据，算完再塞回Redis。我算过，这功能每秒要处理20万条消息，Flink的并行度设了16，结果`keyBy`的时候数据倾斜，某个子任务积压了300万条，其他子任务早处理完了，就它卡着。后来没办法，把`keyBy`改成`rebalance`，又把并行度提到32，延迟终于从3秒掉到1秒以内。

　　可这时候运营又来添乱——他们说“用户反馈热榜更新太慢，能不能改成3秒更新一次？”我差点把键盘摔了——3秒更新一次，数据量翻3倍，现在延迟刚降下来，又要搞？后来运维出了个馊主意：把热榜的计算拆成两个任务，一个处理全量数据，一个处理增量数据，增量任务每3秒跑一次，全量任务每10秒跑一次。我原以为这方案会出问题，结果跑起来居然稳了，延迟直接掉到0.3秒，比测试环境还快。

　　现在回头看，那波调优能成，靠的不是什么高深技术，就是“优胜劣汰”——把没用的指标砍了，把卡脖子的配置改了，把拖累性能的功能拆了。就像上周活动，运营非要加“实时抽奖”，我说“每秒1000人抽，Kafka分区得扩到100，Flink并行度得提到64，你们确定服务器扛得住？”他们说“先上了再说，大不了再调”。结果上线第一天，延迟直接飙到20秒，用户抽完奖等半天看不到结果，投诉炸了一片。后来砍了实时抽奖，改用异步通知，延迟回到1秒，投诉也少了。

　　现在我最怕的就是产品说“我们要个实时XX”——不是反对实时，是怕他们不懂“实时”的代价。就像上次那个“实时推荐”，要捞用户最近1小时的行为数据，算完再塞回MySQL。我算过，每秒要写2万条记录，MySQL的QPS根本扛不住，后来改成Redis，结果Redis内存爆了。最后没办法，把时间窗口从1小时砍到10分钟，数据量降了6倍，延迟才稳住。

　　现在我的原则很简单：能异步的绝不实时，能批处理的绝不停等，能砍的配置绝不留。就像上周那个活动，运营说“我们要看实时转化率”，我说“可以，但得接受5秒延迟，而且只能看核心指标，其他全砍”。他们同意了，结果数据稳得一批，延迟从没超过1秒。所以说，调优这事儿，不是堆配置、加机器，是知道什么该留，什么该砍——优胜劣汰，才是硬道理。

　　不过话说回来，这波调优也有局限——比如Kafka的分区数还是得提前规划，Flink的并行度得跟数据量匹配，产品的需求得提前砍。下次要是再遇到类似问题，我得先让运维把监控指标列清楚，再让产品把需求排个优先级——别到时候又像去年五月那样，手忙脚乱改配置，结果改出个更大的坑。

（编辑：草根网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!