【工作职责】 1、基于 Spark 等核心计算引擎参与公司 AGI预训练 数据采集、去重等核心链路的重构，从引擎层设计适配方案支撑 AGI 数据处理； 2、负责 Spark、Celeborn、Hive 等离线计算引擎的维护、性能优化与稳定性保障； 【任职要求】 任职资格 1、具备扎实大数据基础，熟悉 Spark 或其他分布式计算核心原理（RDD、DAG、Shuffle 等），能独立做任务调优与问题排查； 2、掌握 Java/C++/Python 至少一门编程语言，代码能力优秀； 3、对 AGI 数据处理领域有兴趣，学习能力强，具备良好沟通协作能力。 加分项 1、参与过 AGI / 大模型训练数据链路相关项目； 2、了解 Spark 等组件源码或有开源社区贡献经验