【工作职责】
1、垂域(通信)大模型的训练与优化
- 负责大规模通信大模型的预训练、微调及参数高效优化
- 探索模型压缩、分布式训练、低资源适配等技术
- 要求:熟悉大模型尤其是MOE大模型架构,精通Megatron、DeepSpeed等训练框架;精通大模型后训练/预训练和精调、微调技术研究、RLHF等强化学习方法
2、垂域数据处理与优化
- 构建从数据采集、清洗、评估、消融归因的全流程数据框架,辅助模型能力稳步提升;
- 设计和优化PB级多模态多领域训练数据的解析、理解、筛选、改写、合成体系;
- 设计面向通信领域的结构化数据处理流程,沉淀高质量知识库;
- 基于业务场景,设计高质量高效率的数据生产流程,交付对模型有增益的数据;
- 训练预标注和数据质控模型,不断提升数据生产效率和交付质量。
【任职要求】
1、教育与专业背景
1)计算机、软件工程、人工智能、数学或相关专业的硕士及以上学历(博士优先)。8年以上工作经验。
2)具备扎实的机器学习、深度学习理论基础,对大模型以及NLP、CV、多模态等相关领域有深入了解。
2、后训练技术能力
1)至少2~5年在大型深度学习模型或预训练模型(GPT、BERT等)领域的研发经验,有 模型微调、强化学习后训练 等实践经验者优先。
2)熟悉推理模型、Agentic模型等先进后训练技术,对其在不同业务场景的适用性与局限性有实际应用或项目经验。
3、强化学习与模型优化
1)扎实的强化学习基础,熟悉RLHF(基于人类反馈的强化学习)在大模型后训练过程中的应用。
2)能够定义并实施强化学习策略以优化生成质量、对话交互和模型稳定性,有相关项目交付经验。
4、数据处理与管理
1)具备大规模数据收集、清洗、标注以及数据治理能力,熟悉数据增强、迁移学习等常用方法。
2)能根据不同业务或场景的需求,对数据进行系统化分析(如数据分布、噪声处理),并制定合理的数据策略。
5、加分项
1)曾主导或深度参与过开源社区的NLP、RL相关项目,并具备一定的社区贡献或影响力。
2)在国际顶级期刊/会议发表过论文或拥有相关专利