本岗位偏POC/项目管理类角色,对标字节正式 FTE 招聘标准,非一线执行岗。
若简历通过率较低,请排查是否推送一线纯执行类简历,此类简历需全部筛除
职位描述
1、负责大语言模型生成内容的质量评估工作,能够结合业务目标、模型能力边界与产品需求,设计并持续优化评估方案、评估标准及评估流程。
2、深入理解国内外 AI 产品及模型能力表现,围绕重点竞品开展系统性评测,包括但不限于内容质量、指令遵循等维度,输出有洞察的评估结论与分析报告,为模型优化和产品决策提供支持。
3、负责人工评估项目的全流程推进,包括需求对齐、方案制定、评估执行管理、质量校验、结果复盘与结论沉淀,提升评估任务交付效率和结果可信度。
4、基于评估结果开展数据分析,识别模型能力短板、体验问题及竞品差异点,提炼关键发现,形成可落地的优化建议,推动相关问题闭环。
任职要求
学历与经验要求:
专业能力
1、必须具备 AI 模型评估、内容评测、策略评测或相关项目经验,有成熟竞品评估经验者优先;如具备小红书、腾讯、阿里、Kimi、科大讯飞等相关团队或项目经验
2、对文本内容质量有较强判断力,具备优秀的文字内容 sense,能够识别并拆解不同体裁下的生成质量问题
3、具备较强的数据分析能力,熟练使用 Excel 等工具进行数据整理、分析与结论提炼,能够从评估数据中敏锐发现问题,并形成结构化报告。
4、具备良好的项目推进能力,能够与产品、研发、数据团队高效协同,推动多任务并行落地。
5、对大语言模型、AIGC 产品及行业趋势有较强兴趣和理解,熟悉 Prompt Engineering、Workflow 搭建、自动评估方法者加分。
背景要求
1、本科及以上学历,双一流 / QS200 院校优先,硕士优先。
2、具备 2-5 年相关工作经验;若有扎实的 AI 模型评测经验,尤其是非纯执行型、具备方案设计与项目推进经验者,学历和年限可适当放宽。
3、本岗位非一线纯执行角色,希望候选人具备较强的逻辑思维、统筹协调能力、问题解决能力和结果导向意识。
4、思维灵活,不固化,学习能力强,对 AI 赋能内容创作和模型能力演进保持高度好奇心;沟通表达清晰,做事细致严谨,有责任心。