近期，第十一屆亞太區RDMA編程競賽的最終結果在CCF全國高性能計算學術年會（HPCC 2023）揭曉，西工大計算機學院高性能計算中心指導的西北工業大學參賽隊榮獲本屆RDMA編程競賽唯一的一等獎，也是繼去年獲得冠軍后，再次摘冠！截至目前，我校在該項賽事中已經四次榮獲一等獎。

2023年獲獎證書

2022年獲獎證書

本次競賽共有40多支來自亞太區各個大學和科研機構的學生團隊和10多支來自亞太區科技企業的團隊參加，競賽共設置一等獎1名、二等獎2名、三等獎3名。我校隊員為計算機學院學生王靖元、董章祺、孫東、吳錦皓以及教育實驗學院學生張陽，團隊依托西工大超級計算機系統創新實踐基地，計算機學院高性能計算中心教師趙天海、王云嵐、谷建華、侯正雄指導。

第十一屆亞太區RDMA編程競賽頒獎

RDMA(Remote Direct Memory Access)技術允許程序通過網絡直接訪問遠程主機的內存，具有低延遲，高帶寬的特點。RDMA技術已廣泛應用于超算中心、云計算中心和人工智能計算中心等。西工大超級計算機系統創新實踐基地依托高性能計算中心的計算平臺，通過組織和鼓勵學生參與RDMA編程競賽，使學生能夠深入接觸HPC領域最前沿的技術和工具，培養學生的團隊合作意識和應對挑戰的能力，也提升了實際問題建模、應用系統設計和編程實踐水平。

Reduce/Scatter通信是當前熱門的大語言模型應用訓練中最關鍵的通信操作之一。借助該通信操作，可以在模型的多卡分布式訓練中將各GPU卡訓練獲得的梯度值進行聚合，并把計算結果分片分發各GPU，最后由各GPU更新神經網絡模型參數并通過Allgather操作同步后開始下一輪迭代訓練。對于具有海量參數的大模型訓練，使用Reduce/Scatter可支持大規模并行，提升模型訓練效率。

在比賽過程中，西工大參賽隊通過先進的網絡計算技術對Reduce/Scatter進行了優化，提出了基于在網計算的分層Reduce/Scatter算法，并在集合通信庫中實現，使其能夠利用可編程交換機的在網計算能力以較低的時延完成集合通信操作，算法能夠支持大模型訓練中的并行梯度數據聚合。

參賽同學表現出了卓越的創新精神和高超的編程能力，最終使Reduce/Scatter集合通信性能得到了顯著提高，該成果有助于提升大模型時代AI訓練的規模和效率。隊長王靖元同學受到RDMA競賽組委會的邀請，在HPCC 2023的The New RDMA For LLM Era論壇分享了競賽心得和Reduce/Scatter算法的優化實現技術。

參賽同學在HPCC 2023分享RDMA競賽心得

亞太區RDMA編程競賽是由國際高性能計算和人工智能咨詢委員會主辦的面向亞太區高校大學生的國際性大賽，得到了PC集群聯盟（PC Cluster Consortium）、中國科學院計算科學研究所、清華大學、北京大學的大力支持。大賽旨在為學生提供領先的RDMA編程課程的學習機會，提供先進的軟、硬件平臺供學生動手實踐，通過競賽的形式來歸納和驗證學習效果，最終達到提升學生的HPC和AI實踐能力的效果。

（文字：王云嵐、趙天海、王翠萍；審核：李春科、馬西平）