【工作职责】 1、MaaS 网关架构与研发：负责大模型 MaaS 网关的整体架构设计与核心研发，建设公司统一的大模型 API 服务入口，提供 OpenAI 兼容 API。 2、模型接入与路由：负责多模型接入抽象、请求路由、模型版本管理、灰度发布等能力，支撑异构推理后端的统一对外服务。 3、服务治理能力建设：负责鉴权、限流、配额、TPM / RPM、流控、熔断降级、SLO 保障、成本统计等网关核心治理能力。 4、多租户与高并发：建设多模型、多租户、高并发场景下的请求调度与服务治理体系，提升模型服务的稳定性和资源效率。 5、开发者体验优化：持续优化统一 API、SDK、文档、监控、问题诊断和接入流程，提升内部 AI 应用开发效率。 6、业务打通与协同：与推理引擎、调度、算法及上层业务团队协同，为社区、搜索、审核、企效、AI 应用等场景提供开箱即用的大模型服务能力。 【任职要求】 1、熟悉 Go / Rust / Java / Python / C++ 中至少一门语言,具备扎实的服务端研发能力。 2、有大规模分布式系统、高并发 API 网关、服务治理、流控限流、鉴权、多租户系统等相关经验。 3、能对复杂业务问题进行系统建模和抽象,具备良好的稳定性、可观测性和工程质量意识。 4、了解大模型推理服务基本链路,对模型部署、请求调度、服务高可用、SLO 保障等有基本认知。 5、具备良好的沟通协作能力,能与推理框架、平台、算法和业务团队协同推进项目落地。 加分项 1、有 LLM / MLLM 模型服务平台、MaaS 平台、API 网关、云服务平台开发经验。 2、熟悉主流大模型推理引擎(vLLM、SGLang、TensorRT-LLM 等)及 OpenAI 兼容 API 规范。 3、有 Higress / LiteLLM / NewAPI / Kong / Envoy / GIE 等 AI 网关、LLM 网关或 Service Mesh 二次开发经验。 4、有顶会论文(MLSys / OSDI / SOSP / NSDI 等)、开源项目或业界峰会技术分享经验。