模型部署

Responsibilities

1.负责大规模分布式模型训练基础设施优化 支撑亿级到千亿参数模型分布式训练:DP/TP/PP/MoE混合并行底层支撑。 显存优化:ZeRO、激活重计算、混合精度、显存池化，解决“单卡放不下大模型”问题。 通信优化:NCCL、RDMA、计算通信重叠，降低多机多卡训练耗时。 2.负责端侧和云端推理优化和基础设施优化 框架适配:PyTorch/TensorFlow/MindSpore环境标准化、底层bug修复、算子性能调优。 搭建低延迟推理集群:Triton、vLLM、TGI、TensorRT，支撑LLM、多模型并发API 服务。 推理性能优化:KV Cache、PageAttention、模型量化、批处理、动态batching，降低 TTFT、提升QPS. 3.负责算力底座优化和运维 ·推理弹性扩缩容、负载均衡、限流熔断、多租户隔离。 全链路可观测:监控GPU温度/功耗/显存;监控训练/推理指标;定位NCCL超时、显存泄漏、网络拥塞等疑难 问题。 ·算力底座赋能:给算法同事提供一键训练、环境隔离、实验管理、模型仓库能力。

Requirements

1.计算机、软件工程、人工智能、电子信息等相关专业硕士或博士学历，5年以上GPU集群环境优化经验; 2.服务过大厂智算团队，拥有GPU集群、并行计算、高性能计算、分布式存储、GPU加速、NCCL通信优化等技术 栈的工程师。

Who this role is for

硕士及以上

Company overview