01
大模型数据产品经理
训练数据与模型评测
要解决的核心问题
把角色一致性、情感对话和长期互动中的真实问题,转化为可执行的数据、评测与 Bad Case 闭环,让模型体验持续、可衡量地变好。
主要职责
- 规划训练数据、测试集和模型评测的产品框架。
- 定义数据采集、标注规范、验收标准与质量控制要求。
- 围绕角色一致性、情感对话、上下文与长期记忆设计评测维度。
- 建立 Bad Case 记录、归因、优先级和复盘闭环。
- 与算法、工程、产品协作,推进数据与评测方案落地。
- 把评测发现整理为可行动的模型与产品优化建议。
必备背景
有大模型产品、AI 数据产品或模型评测相关经验;能把抽象体验问题拆成清晰的数据规范、测试方案和迭代优先级。
加分背景
做过对话产品、角色扮演、虚拟人、情感陪伴、训练数据、数据标注或 LLMOps/MLOps 相关工作。