AEWIN邊緣AI伺服器使用InfinitiesSoft AI-Stack進行GPU擴展
介紹
隨著技術的快速發展，人工智慧已被整合到各種垂直領域，包括智慧城市、智慧交通系統、智慧製造、智慧醫療等。在這篇博客中，我們測試了一個整合了AEWIN硬體和我們的合作夥伴InfinitiesSoft AI Stack軟體的解決方案，以加速GPU負載平衡和推理的擴展。
測試設置
AEWIN的SCB-1932 MEC是一款2U機架式硬體網絡系統。基於雙3代Intel® Xeon®可擴展處理器，這個高性能平台支持八通道DDR4註冊ECC RDIMM（最高3200 MHz），每個CPU的最大內存容量可達1TB，支持最多八個網絡擴展模塊或四個網絡擴展模塊加兩個PCIe x16全高、全長PCIe插槽。最大以太網帶寬可達800GbE。
透過整合 AEWIN Edge AI 伺服器和 InfinitiesSoft 的 AI-stack，創建了一個高效能的平台，用於機器學習的開發和編排。Edge AI 應用設備提供了理想的開發環境，以支持行業創造有價值的應用程序。
| 系統 | AEWIN SCB-1932C |
| 處理器 | 2顆 Intel® Xeon® Gold 5318S CPU @ 2.10GHz |
| DIMM 插槽 | 16x DDR4 32G=512G |
| OS | Ubuntu Linux 18.04 (核心: 5.4.0-Generic) |
| BIOS | C1932A003 |
| BIOS 設定 | 「4G以上解碼」：啟用 「4GB以上的MMIO BIOS分配」：啟用 |
| PCIe 加速器 | 2x NVIDIA T4 |
圖 1：測試系統設置
圖2：GPU負載均衡與擴展
圖 3：運行腳本以啟動演示
圖4：增加GPU的數量
圖5：增加更多工作負載以應對更多分配的GPU。例如，GPU與同時用戶的比例為2比1、2比4、2比8、2比10。
圖5所示的結果顯示，搭載AI Stack的AEWIN SCB-1932C邊緣AI伺服器能夠進行GPU負載平衡和擴展，並在我們增加工作負載和GPU時提供線性關係。
摘要
在這次測試中，我們展示了一個整合硬體（AEWIN – Intel Xeon Ice Lake SP 邊緣 AI 伺服器）和軟體（InfinitiesSoft AI Stack）的解決方案，以加速 GPU 負載平衡和推理的擴展。AEWIN 邊緣伺服器和 AI Stack 的整合可以更有效地優化 GPU 資源的使用，並通過介面平台使 AI 開發/管理變得簡單快速。安裝了 AI Stack 平台的 AEWIN 邊緣 AI 伺服器可以處理眾多伺服器，以增強總資源以實現高效運作，並為 AI 應用創造雙贏解決方案。
