1.参与自研推理集群的建设，针对推理负载特征（Prefill/Decode阶段差异、请求长度不KV Cache动态占用）设计显存/带宽感知调度策略，消除GPU资源碎片；
2.优化Kubernetes/Volcano调度框架，支持GPU拓扑（NVLink域、PCIe带宽）感知的推理Pod放置，降低跨卡通信对推理尾延迟（P99）的影响；
3.设计推理任务的弹性排队与优先级抢占机制，保障高优业务在资源争抢下的服务质量。
4.探索GPU显存与算力的动态切分技术（MIG/时间分片），将单卡按需分配给多个轻量推理负载，提升卡级利用率。
5.构建推理集群的过载保护与全局流控体系，规避突发流量下的集群雪崩（如排队超时、OOM）