小团队服务器调优的5个反直觉真相
|
我原以为把 Redis 的 maxmemory 调小点,OOM 就能少喷几次——结果上周五凌晨三点那波 push 推完,监控直接绿成一片,内存反而涨了 40%,后台数字每几分钟自动刷新一次,绿得跟假的一样。 去年12月份,活动上线那十分钟,我们盯着漏斗,转化率卡在落地页加载那一步死活不上升。王工在工位啃冷包子,咬一口看一眼监控;小陈蹲厕所发了三条钉钉,问要不要临时切回旧 JS 包——我刚说“再等三十秒”,她手机电量掉到十几个点,锁屏了,没看见我回的“别动”。 第一个反直觉:加机器不一定提速。那天上午紧急扩了两台 Node 实例,load 平均值立马下来了,但首屏时间反而慢了 120ms。不是网络抖动,是 DNS 缓存崩了。老张在会议室白板上画了个拓扑图,笔没水了,蘸了咖啡继续写,结果“上游 LB”那几个字糊成一团墨。他写的不是问题,是情绪。 第二个反直觉:日志关得越狠,查得越慢。我们砍掉了 access log 的 body 记录,只留 status 和 time,想着省 IO。可真炸了的时候,连用户是从哪个渠道跳转来的都对不上——push 带的 utm 参数全被截断了。我翻了三遍 nginx 配置,发现有个 location 块漏配了 $request_uri,就漏那一个。饮水机在换桶,哗哗响,我听着那声儿突然想起来,去年年中也是这儿漏的,但没人提过。 第三个反直觉:CDN 缓存开太满,反而拉低留存。活动页那个 banner 图,我们设了 365 天 cache-control,想着省源站压力。结果 AB 测了一周,B 组(缓存关掉)复访率高 1.8 个点。不是图片问题,是 ETag 没带版本号,缓存层把带 coupon_code 的响应也塞进去了,老用户点进来,券码还是上一轮的。设计小吴昨天来补素材,顺手把桌上那张手写的排期拿走了,上面还印着茶水浸开的半个“12月”字样,我拦都没拦住。 第四个反直觉:数据库加索引,有时会让 AB 分流失衡。本来 AB 是用 user_id % 100 做的,加了个 idx_user_status_created_at 之后,查询计划突然选了 index scan,导致某几类 user_id 聚集命中率飙升——A 组里老用户比例凭空多出 7%。这事儿没进日报,因为 DBA 看了执行计划后摇头说“你这个表,主键就是自增的,你还加啥复合索引”。他边说边把打印出来的物料往包里塞,是下周一地推要用的,一共四百份,纸有点潮。 第五个反直觉:监控告警越密,故障恢复越慢。我们给 API 的 5xx 加了 30 秒阈值,结果那天短信平台超时重试三次,触发了七条告警,群里一直在 @ 人,@ 来 @ 去谁都没应——因为运营小林正举着喇叭在楼下喊签到,手里拿着名单,指甲油蹭掉了一块。后来查出来只是运营商接口那边卡了 48 秒,不到阈值。可告警一响,人就散了:运维去看 K8s,后端去翻日志,前端跑去测 WebSocket 连接。没人想到拨个电话问问短信服务商。优胜劣汰?不是代码跑得快的人活下来,是抢到会议室、记得带充电线、敢在老板进门前把报错截图删掉的人撑到了复盘会。 其实最砸的是那次双十二前夜测的裂变活动,AB 组流量全跑了 A 组,不是配置错了,是 Redis 那个 keys 扫描脚本半夜自动启了,占满 CPU,把分流逻辑里那个 atomic getset 给拖挂了。我盯着后台的 refresh 倒计时,数到第三遍“47秒……46秒……”,才想起该去查 cron。可那时候,小陈已经把 AB 配置切回单组模式,切完顺手清了缓存——她不知道,那个缓存里刚好存着当天所有的短信下发队列。 我跟产品吵过一次,他说“你们把灰度开关放得太深,我们没法实时调”。我说:“你调它干啥?它不就是个防手抖的闸门吗?”他当时没说话,转身就把 PRD 里“支持运营后台实时开启 AB”的需求标成了 P0。会议室一直被占着,我们只好蹲在茶水间聊,他喝美式,我喝速溶,奶精盒盖子卡住了,挤出来一股糊味儿。 自己那份周报……算了,今天还没动。昨天写了半页“Redis 连接池未复用”,后来删了,因为下午运维说,其实是连接串里写错了密码,重试逻辑把它当正常断连处理了。我没改周报,打算等下周再说。反正他们也看不出区别。
文章配图,仅供参考 你要是今晚值班,别碰那个新上的 CDN 版本。我刚看日志,边缘节点返回 206 的时候,Last-Modified 时间戳是 Unix 零时刻。不知道是谁传的。先回滚吧,或者……你带充电线没?手机快没电了。 (编辑:草根网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


服务器调优避坑指南:9年API开发踩过的5大隐性陷阱
运维老炮儿绝口不提的服务器调优科技潜规则
中小团队也能做3A网游:腾讯网易青睐的SpatialOS是什么
谷歌想让Stadia小团队开发者通过机器学习也能打造WoW体量的游戏
小团队游戏如何做好口碑传播《ICEY》开发者分享
小团队如何从零搭建一个自动化运维体系?


浙公网安备 33038102330470号