传媒资讯分类总出错?智能算法提效至98.7%
|
去年6月,老板指着旧站首页右上角那个灰扑扑的「资讯分类」弹层说:“这个不准,天天被市场部追着问。”——就那块用jQuery手写、连DOM都懒得重绘的折叠面板,点开后靠后台硬塞的JSON分类树,三级联动还带手动刷新。我盯着屏幕右下角IE11兼容模式的提示框,笔记本电量剩13%,投影仪右边有道竖线,一直没修。 改版需求文档V2.3里写着“新增AI分类能力”,但附件《分类规则白皮书》第7页手写补了一行小字:“先跑个TF-IDF试试”。设计稿PSD里,分类标签栏宽度从240px砍到180px,理由是“留白呼吸感”——可呼吸感没来,倒是把“影视动态”和“广电监管”两个类目压成一行,中间没间距,用户点错率翻了三倍。会上没人提这事,设计在转笔,转得飞快,咔嗒、咔嗒、咔嗒,节奏卡在老板说话换气的空档里。窗外有人推开一半又关上,风把窗台那摞A4纸掀了两页,《上线checklist_v4》飘下来,第12条写着:“验证分类API响应时间≤300ms”,下面手写补了“先mock”。 真刀真枪上的那天是周三,凌晨两点,运维在走廊打电话,声音大得盖过服务器告警声:“对,就是那个资讯流接口,别动缓存层!”我蹲在测试机前,把旧分类逻辑和新模型输出并排拉出来比:原始标签是“新媒体运营”,模型打的是“数字营销|传播策略|行业观察”——三个维度,全错位。但错得有规律:它把所有含“号”字的标题(公众号、小红书号、抖音号)自动塞进“自媒体生态”,不管内容是不是讲版权法;把带“总局”“广电”“网信”的全归“政策监管”,哪怕原文是“总局发福利:直播带货免三年税”。这不是AI,是关键词过敏。 后来查日志才发现,训练数据里混进了37%的爬虫垃圾页——某外包团队用Python+正则扒的“全网传媒新闻”,结果把百度贴吧“传媒专业吧”的灌水帖、豆瓣小组里“求推荐实习”的帖子全喂进去了。他们交数据包时附了张Excel,sheet名叫“cleaned_v2”,但B列有1287行“ ... ”没解码。我问他们清洗逻辑,对方回:“不是说要量大嘛?”会议室桌上摆着六瓶水,只开了两瓶,剩下四瓶结了层薄雾,跟那台总连不上公司VPN的MacBook Air屏幕一样凉。98.7%这个数,是我亲手拆的。不是准确率,是“模型返回置信度>0.85且分类结果与人工标注一致”的比例。但漏掉的1.3%,全是那种标题正常、正文埋雷的:一篇《短视频审核新规解读》,前面三千字都在讲技术架构,最后一段才提“平台须在24小时内下架违规内容”,模型把它分进“技术动态”而不是“监管动态”——人工复核时,市场部同事指着这条说:“这就是我们上周投诉的错分。”我调出她7月14日的Jira反馈截图,ID PROD-3982,标题就一句:“‘广电’俩字不能当开关用”。
文章配图,仅供参考 现在分类页没变样,还是那个弹层,只是底层切成了模型服务+人工兜底双通道。新链路走完,如果置信度<0.8,立刻切回旧规则;旧规则也加了兜底,比如“广电”+“处罚”+“通报”三个词同时出现,强制归入监管。代码在GitLab里标着hotfix_20230722_guangdian。上线checklist最后一项删掉了:“验证分类API响应时间≤300ms”,换成了:“监控兜底路径QPS>2.1,错误码503不超17次/小时”——这个2.1,是上周五下午真实扛住流量峰值算出来的,不是拍的。我不信98.7%,我信那1.3%里有多少是人肉填的坑。下周一去翻v2.4的需求文档,听说要把“分类”改成“资讯图谱”,加个可视化节点关系图——我已经让开发在图谱组件里预埋了个console.warn,只要任意节点关联度<0.65,就打印出触发它的原始标题和抓取来源URL。不为别的,就为以后有人再甩一句“智能算法提效至XX%”,我能直接掏出那串URL,让他自己点开看:是不是又把知乎问答里的“#传媒考研”话题,当资讯正文喂进去了。 (编辑:站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |

