崗位職責
1、支持百億~萬億規模的超大模型、GPU/NPU千卡互聯的超大規模分布式訓練架構,通過分布式并行/流水線/通信優化,消除大規模分布式訓練的瓶頸;
2、通過分布式并行優化、AI基礎框架優化以及算子優化,釋放CPU/GPU/NPU等異構硬件協同的最大算力,旨在將硬件性能壓榨到極致,打造一流的訓練框架,追求業界最領先的性能;
3、支持業界領先的文本模型、多模態模型在華為智能助手小藝上的業務落地。
崗位要求
1.有扎實的工程算法基礎,精通數據結構和常用算法,熟練掌握各種編譯、調試、性能分析工具;
2.有極佳的工程實現能力,精通Python或者C++;
3.熟悉當前主流大語言模型如GPT、Llama、MoE等模型的架構;
4. 有大規模分布式系統開發和優化經驗;有大模型分布式訓練經驗者優先;