AI 能让代码写得更快,但在「不能出错」的分布式存储系统里,如何确保提效不变成风险?本文结合美团基础技术部在 AI 评审、问题排查和自动化开发中的真实实践,分享 AI 能帮上什么忙、容易在哪些地方犯错,以及哪些地方仍需要人来把关。比「多写代码」更重要的,是让代码和结论经得起验证。希望这些经验能为复杂系统中的 AI 应用提供参考,在享受效率提升的同时,守住质量与稳定性的底线。
要满足这样的质量要求,光让 AI 生成代码不够,AI 评审(Code Review)、AI 测试与验证、AI Debug 和受控自动化也得一起建起来,AI 生成的代码才能放心地进入研发流程。本文结合存储团队在 AI 评审、AI Debug 和 AI 自动化上的实践,讨论在分布式存储这类复杂度高、容错低的系统里,怎样一边用 AI 提速,一边靠更严格的评审、测试、调试和自动化验证守住稳定性与数据正确性,希望对其他类似系统落地 AI Coding 也有参考价值。
其中两个缺陷并不是日志直接触发的,而是 AI 为了解释日志去读相邻代码时发现的,同样属实,日志提供的真实配置和数量级,可能也让相邻代码的推理更准。这只是一个样本,不能说明总能零误报,但足以支持一个做法:能拿到运行时日志时,评审和 Debug 都应附上。日志的局限是只覆盖执行过的路径,行号也可能与部署版本不符(需按消息文本定位)。
AI Debug 最直接的价值,是缩短从“看到异常”到“找到值得验证的方向”的这段路。它能很快把日志、监控、调用栈、代码和配置关联起来,沿多个方向提出候选,还能生成诊断脚本、最小复现和对照实验。碰到跨模块、跨仓库的问题,信息整理和重复排查的时间能省下不少。
但 AI 给出的解释,不管看上去多完整、多具体,都不能直接当作根因结论。分布式存储的故障往往取决于并发时序、节点角色、持久化状态、恢复过程、外部依赖和运维操作,AI 拿到的通常只是其中一部分。它很容易找到一条“能解释现象”的代码路径,却没有证明线上当时真的走过这条路径,也没有证明别的原因产生不了同样的结果。
所以更合适的定位,是把 AI 当作调试过程中的假设生成器和验证助手:它负责扩大搜索范围、压缩排查空间、执行可控验证,人负责补充系统语义、判断证据强度、确认根因和审查修复。
AI 可以把不同节点的日志、监控指标、调用栈、配置和代码变更对齐到同一条时间线上,再顺着去找同一个状态的生产者和消费者。跨文件检索、正常路径和异常路径的比对、版本差异整理这类机械活,交给它最合适。
例:创建成功,随后操作失败,稍后重试恢复。 AI 串联三个代码仓库,发现报错来自“没有查到刚创建的资源”。人工补充“数据库已有记录、请求去向正常、稍后重试成功”后,排查收敛到缓存:创建之前,某台机器缓存了“资源不存在”;创建之后,这条缓存没有及时更新,导致后续操作失败。定期刷新后,缓存才与数据库一致,重试随之成功。
2. 并行提出可以被验证的候选
同一个延迟、错误码或状态异常,往往有好几种解释。AI 可以从缓存、队列、并发、网络、持久化、重放和资源竞争等方向同时展开,并给每个候选列出必要条件和缺失的证据。这份候选集合是用来帮工程师决定下一步查什么的,不是让 AI 从里面直接挑一个“最像根因”的答案。
例:旧数据一直没有清理,占用空间持续增长。 AI 梳理了“清理任务没运行、数据仍被使用、删除失败”等候选,并指出对应的日志线索。人工据此发现:节点已经开始工作,但清理模块的“启动完成”标志没有设置,因此每轮清理都被跳过。AI 提供了可逐项检查的排查清单,人工用现场日志确认实际命中的原因。
3. 把局部机制推导成可执行实验
AI 可以把代码里的条件、阈值和执行顺序转成明确的实验预期,再结合实际的输入和配置,检查这些条件能不能同时成立。实验要走真实入口,让系统自己产生待验证的状态,并设置能区分不同解释的对照和断言。这样“看起来可能发生”的事情,就变成了“能复现或者能被证伪”的判断。
例1:局部查询漏查,不等于编号会重复。 AI 发现,创建对象前的一处查询只返回正常对象,不返回正在删除的对象。它把这处查询当成防止重复创建的关键检查,推断“旧对象查不到,就可能允许用相同编号再次创建”。人工指出,新对象编号由统一分配器保证唯一,这处查询并不负责编号分配;“相同编号再次进入创建流程”这一推导前提没有成立,因此撤销了风险结论。
开始分析之前,先由人和 AI 一起建立一份不掺推测的事实底稿,包括故障表现和影响、发生经过、运行环境和操作历史,再按需补上数据、缓存、外部依赖和配置生效的情况。原始日志和监控、业务方的转述、静态的代码推导,要分开记录。每份状态都要注明采集时间、来源实例和读取方式,没法确认几份证据是否属于同一时刻或同一个请求时,就明确标出来,不要把它们拼成一张“同时发生”的现场图。重启、重试、刷新缓存这些操作会改变现场,动手之前先把证据存下来。
2. 让 AI 输出候选集合,不接受单一根因
让 AI 给每个候选写清楚触发条件、代码路径、状态变化、能解释和解释不了的现象、当前的证据以及证伪的方法;人再补上全局不变量、历史设计决策和运维约束,例如 ID 由谁分配、角色怎么切换、哪些状态会持久化、哪些失败允许重试。
团队尝试用 AI 做自动化,让它连续承担环境检查、构建修改、失败定位和测试回归这些繁琐,但是模式相对固定的工作。团队使用 AI 发起了两个此类任务:1) 分布式 KV 的构建系统升级。该项目原来用 Make + Autotools 构建,脚本维护起来费劲,因此需要迁到 CMake;2) 分布式 KV 服务端适配 ARM 服务器。服务端要运行在华为鲲鹏服务器上以降低成本,需要做好 ARM 适配。这两项工作的实施路径和验证方法比较清楚,但涉及的细节多、工作量大,人工处理时需要反复修改、执行和检查结果。实践下来,AI 确实省去了不少重复劳动,能够根据构建和测试的反馈持续推进。但连续执行时间一长,也可能沿着错误方向排查、扩大修改范围,甚至通过调整测试条件得到“通过”的结果。方向、边界和验收标准,仍要由人把关。
执行链路一致性。在相同机器、相同输入和相同部署产物下,Python Artifact Runtime 与 C++ DAG Runtime 的输出 Tensor 保持逐字节一致。Server 使用同一 DAG Runtime 执行请求,协议层继续核对输出名称、类型、有效长度和最终业务结果。这一层验证用于确认节点调度、buffer 管理、数据搬运和协议转换没有改变部署产物的语义。
[1] MTGR:Han R, Yin B, Chen S, et al. Mtgr: Industrial-scale generative recommendation framework in meituan[C]//Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025: 5731-5738
[2] KDD 2026:MTFM: A Scalable and Alignment-free Foundation Model for Industrial Recommendation in Meituan(https://dl.acm.org/doi/abs/10.1145/3770855.3818452)
[3] STAR:Xiang-Rong Sheng, Liqin Zhao, Guorui Zhou, Xinyao Ding, Binding Dai, Qiang Luo, Siran Yang, Jingshan Lv, Chi Zhang, Hongbo Deng, et al. 2021. One model to serve all: Star topology adaptive recommender for multi-domain ctr prediction. In Proceedings of the 30th ACM International Conference on Information & Knowledge Management. 4104–4113.
[4] M3OE:Zijian Zhang, Shuchang Liu, Jiaao Yu, Qingpeng Cai, Xiangyu Zhao, Chunxu Zhang, Ziru Liu, Qidong Liu, Hongwei Zhao, Lantao Hu, et al. 2024. M3oe: Multi-domain multi-task mixture-of experts recommendation framework. In Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval. 893–902.
[5] MLoRA:Zhiming Yang, Haining Gao, Dehong Gao, Luwei Yang, Libin Yang, Xiaoyan Cai, Wei Ning, and Guannan Zhang. 2024. Mlora: Multi-domain low-rank adaptive network for ctr prediction. In Proceedings of the 18th ACM Conference on Recommender Systems. 287–297.
[6] ExFM:Ads Recommendation. 2025. External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation. arXiv preprint arXiv:2502.17494 (2025).
[7] LFM4Ads:Shangyu Zhang, Shijie Quan, Zhongren Wang, Junwei Pan, Tianqu Zhuang, Bo Fu, Yilong Sun, Jieying Lin, Jushuo Chen, Xiaotian Li, et al. 2025. Large Foundation Model for Ads Recommendation. arXiv preprint arXiv:2508.14948 (2025).
[8] RankMixer:Zhu J, Fan Z, Zhu X, et al. Rankmixer: Scaling up ranking models in industrial recommenders[C]//Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025: 6309-6316.
[9] TokenMixer-Large:Jiang Y, Zhu J, Han X, et al. Tokenmixer-large: Scaling up large ranking models in industrial recommenders[C]//Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining V. 2. 2026: 7489-7500.
[10] HSTU:Zhai J, Liao L, Liu X, et al. Actions speak louder than words: Trillion-parameter sequential transducers for generative recommendations[J]. arXiv preprint arXiv:2402.17152, 2024.
[11] OneTrans:https://arxiv.org/abs/2510.26104
[12] OneRec:Zhou G, Deng J, Zhang J, et al. Onerec technical report[J]. arXiv preprint arXiv:2506.13695, 2025.
[13] STCA:Guan, Lin, et al. "Make it long, keep it fast: End-to-end 10k-sequence modeling at billion scale on Douyin." Proceedings of the ACM Web Conference 2026. 2026.
美团智播团队提出的多级因果LLM动作生成MoTiGA(Motion generation via multi-level causal Transformers with LLM-Guided Alignment)方法,被CVPR 2026收录,MoTiGA将大语言模型的自回归生成范式引入人体动作生成,通过多级因果结构和偏好优化实现质量与效率的双重提升。
ACL(Annual Meeting of the Association for Computational Linguistics)是计算语言学和自然语言处理(NLP)领域的国际顶级学术会议,是CCF-A类会议,也是中国计算机学会推荐的自然语言处理方向最高等级国际学术会议。ACL 2026杰出论文奖(Outstanding Paper)在圣地亚哥揭晓,全球共 18 篇入选,美团履约技术团队的《GeoRA:Geometry-Aware Low-Rank Adaptation for RLVR》 就是其中之一。
[1] Hewitt, J. "Initializing New Word Embeddings for Pretrained Language Models". Columbia University. https://www.cs.columbia.edu/~johnhew/vocab-expansion.html
[8] Chang, J. et al. (2023). "PEPNet: Parameter and Embedding Personalized Network for Injecting Tunneling Personalized Prior Information". KDD 2023. https://arxiv.org/abs/2302.01115
[9] Wang, L. et al. (2024). "Improving Text Embeddings with Large Language Models". ACL 2024. arXiv:2401.00368. https://arxiv.org/abs/2401.00368
[10] Xiao, S. et al. (2023). "C-Pack: Packaged Resources To Advance General Chinese Embedding". BAAI. arXiv:2309.07597. https://arxiv.org/abs/2309.07597
[11] Li, Z. et al. (2023). "Towards General Text Embeddings with Multi-stage Contrastive Learning". Alibaba. arXiv:2308.03281. https://arxiv.org/abs/2308.03281
[12] Li, S. et al. (2024). "Conan-embedding: General Text Embedding with More and Better Negative Samples". Tencent. arXiv:2408.15710. https://arxiv.org/abs/2408.15710
[13] Babakhin, N. et al. (2025). "Llama-Embed-Nemotron-8B: Training Llama 3.1 8B as a Top-Performing Embedding Model". NVIDIA. arXiv:2511.07025. https://arxiv.org/abs/2511.07025
[14] Rajput, S. et al. (2023). "Recommender Systems with Generative Retrieval". NeurIPS 2023. arXiv:2305.05065. https://arxiv.org/abs/2305.05065
[15] (2025). "UNGER: Generative Recommendation with A Unified Code via Semantic and Collaborative Integration". HUST & Huawei. arXiv:2502.06269. https://arxiv.org/abs/2502.06269
[16] Xiong, L. et al. (2020). "Approximate Nearest Neighbor Negative Contrastive Learning for Dense Text Retrieval". arXiv:2007.00808. https://arxiv.org/abs/2007.00808
[17] Zhang, D. et al. (2025). "Qwen3 Embedding: Advancing Text Embedding and Reranking Through Foundation Models". Alibaba Group. arXiv:2506.05176. https://arxiv.org/abs/2506.05176
[18] Zhao, K. et al. (2025). "KaLM-Embedding-V2: Out-tasking Specialized LLM Embedders for Multi-lingual Multi-context Retrieval". arXiv:2506.20923. https://arxiv.org/abs/2506.20923
[19] Ju, Z. et al. (2025). "Generative Recommendation with Semantic IDs: A Practitioner's Handbook". Snap Inc. arXiv:2507.22224. https://arxiv.org/abs/2507.22224
[20] Fu K. et al. (2025) "Forge: Forming semantic identifiers for generative retrieval in industrial datasets"[J]. arXiv preprint arXiv:2509.20904, 2025. https://arxiv.org/abs/2509.20904
KDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining)是数据挖掘与知识发现领域最具影响力的国际顶级学术会议。KDD 以其严格的论文录用标准和深厚的学术影响力著称,是推动数据驱动研究与应用创新的重要平台。大会为学术界和工业界提供了交流前沿成果的高水平论坛,论文录用率通常在 15%-20% 左右,属于计算机领域的 CCF-A 类顶级会议。
论文简介:工业推荐系统通常涉及多个场景,而现有的跨域(CDR)和多场景(MSR)方法往往需要大量资源且要求严格的输入对齐,限制了其可扩展性。该论文提出了MTFM(Meituan Foundation Model for Recommendation),一种基于Transformer的框架,旨在解决上述挑战。MTFM不预先对齐输入,而是将跨域数据转换为异质Token,以无对齐的方式捕捉多场景知识。为提升训练效率,MTFM引入了多场景用户级样本聚合机制,显著减少了总实例数量,大幅提升训练吞吐量;同时融合了Grouped-Query Attention和定制化的Hybrid Target Attention,有效降低了内存占用和计算复杂度。 此外,论文还实现了多项系统级优化,如kernel融合和消除CPU-GPU阻塞,进一步提升了训练和推理吞吐。在外卖等场景的离在线实验均验证了MTFM的有效性,证明了通过扩展模型容量和多场景训练数据可以实现显著的性能提升。基于MTFM,团队构建了服务于以上多个业务主场景的统一基座推荐大模型,替换各自的独立精排模型,并完成了全量。