动态资源分类不准?算法优化提升准确率37%
|
哎你说去年十月那回动态资源分类,我原以为就是调调参数的事儿,结果差点把活动页搞崩了——后台数字每三分钟刷一次,群里@我的消息弹得比饮水机换桶还勤,运营小张蹲在打印机旁边守物料,手机电量掉到17%还在喊“分类标签又串了”。 那天活动上线前十分钟,我盯着监控屏,眼睁睁看着“美妆”分类下飘出三条宠物食品的链接——用户点进去是猫罐头,落地页却挂着“买精华送小样”的横幅。转化率直接掉到0.8%,比平时低了40%。运营总监在群里吼:“这漏斗是漏了个太平洋吧?”我盯着代码里那套老分类逻辑,突然想起上周测试时,小李说过“动态标签的权重阈值可能设低了”,我当时还怼他:“阈值调高会漏掉长尾,你懂个屁。” 结果打脸来得比会议室被占还快。活动上线两小时,复访率比预期低了25%,短信推送点开率只有1.2%——平时至少2.5%的。我蹲在工位上翻日志,发现分类模型把“宠物用品”和“母婴用品”的标签混了——因为两者都含“湿巾”“棉柔巾”这些关键词。更离谱的是,有条“婴儿连体衣”的链接,被分到了“运动户外”分类,就因为商品描述里写了“透气面料”。 而那天下午,产品经理老周还举着周报跟我说:“分类准确率82%已经够用了,别折腾算法。”我盯着他手里那张手写排期表——被茶水浸了半边,墨迹晕得像抽象画——心里直犯嘀咕:这82%怕不是拿测试集刷出来的吧? 真正动手改算法是活动砸了的第二天。我把历史数据拉出来,发现分类错的链接里,60%是“多标签场景”——比如“宠物湿巾”可能同时属于“宠物用品”和“清洁用品”,但老模型只取权重最高的标签,剩下的全丢进“其他”分类。更坑的是,渠道侧为了省事,把“其他”分类的链接全塞进了“美妆”频道——因为美妆频道的流量最大,丢进去至少有人点。 我跟算法组的小王蹲在会议室改代码,从下午两点改到晚上八点,中间点了三次外卖。小王边啃炸鸡边说:“要不咱们试试多标签分类?把每个链接的标签权重都存下来,用户搜索时按相关性排序。”我拍桌子:“早说啊!上周测试时你就该提!”他翻白眼:“上周你说‘多标签会增加计算量,活动页扛不住’。”我噎住——确实,我原以为老模型够用了,结果… 改完代码上线是第三天凌晨。我盯着监控屏,眼看着“宠物用品”分类下的链接从3条涨到12条,其中2条是之前被错分的猫罐头;“美妆”分类里终于没有宠物食品了。转化率慢慢爬回1.5%,复访率涨到1.8%——虽然还是比预期低,但比活动砸了那天强多了。 后来复盘时,运营总监甩出一张表:优化后的分类准确率从82%涨到92%,活动页的转化率提升了37%。我盯着表上的数字,突然想起老周那句话——“82%已经够用了”。可问题是,这82%里有多少是“凑出来的”?比如把错分的链接塞进流量最大的频道,或者干脆丢进“其他”分类不管——用户点不进去,自然不算“分类错误”,但转化率掉了啊。 而这次优化最狠的地方,是“优胜劣汰”——不是强行调高某个标签的权重,而是让模型自己学:哪些标签组合更符合用户行为。比如“宠物湿巾”和“猫罐头”虽然都含“宠物”,但用户搜索“湿巾”时更可能点“清洁用品”,搜索“猫罐头”时更可能点“宠物食品”。模型学会这点后,错分率直接掉了40%。 不过说实话,我到现在都没搞明白,为什么老模型会把“婴儿连体衣”分到“运动户外”——可能是商品描述里写了“弹性面料”和“透气”?或者单纯因为“连体衣”和“运动服”在词向量里离得近?小王说:“可能是训练数据里‘运动户外’的样本太少,模型为了凑准确率,把不确定的链接都往‘美妆’塞。”我拍腿:“所以之前的82%是假的?”他笑:“至少在测试集上是真的,但真实场景里…你懂的。” 现在回头看,那次优化能成,靠的不是多厉害的算法,而是“承认老模型有问题”。就像运营总监说的:“别盯着准确率看,要看转化率——用户点不进去,分类再准也没用。”而我最庆幸的是,活动砸了那天没听老周的“别折腾”——要是真按他说的“82%够用”,现在可能还在会议室里改排期表呢。
文章配图,仅供参考 不过话说回来,这周的周报该怎么写?总不能说“之前分类是错的,现在改对了”吧?要不把“优化算法”写成“调整标签权重”?反正老板只看转化率——只要数字涨了,过程不重要。而小王还在纠结:“多标签分类的计算量还是太大,下次活动要是流量暴涨,服务器可能扛不住。”我叹气:“先扛过这周再说吧,饮水机又该换桶了。”(编辑:草根网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


动态资源调度:9年优化师的丝滑加载全链路复盘
运营中心数据权限三级分类实践


浙公网安备 33038102330470号