AEWIN边缘AI伺服器使用InfinitiesSoft AI-Stack进行GPU扩展
介绍
随着技术的快速发展，人工智慧已被整合到各种垂直领域，包括智慧城市、智慧交通系统、智慧制造、智慧医疗等。在这篇博客中，我们测试了一个整合了AEWIN硬体和我们的合作伙伴InfinitiesSoft AI Stack软体的解决方案，以加速GPU负载平衡和推理的扩展。
测试设置
AEWIN的SCB-1932 MEC是一款2U机架式硬体网络系统。基于双3代Intel® Xeon®可扩展处理器，这个高性能平台支持八通道DDR4註册ECC RDIMM（最高3200 MHz），每个CPU的最大内存容量可达1TB，支持最多八个网络扩展模块或四个网络扩展模块加两个PCIe x16全高、全长PCIe插槽。最大以太网带宽可达800GbE。
透过整合 AEWIN Edge AI 伺服器和 InfinitiesSoft 的 AI-stack，创建了一个高效能的平台，用于机器学习的开发和编排。Edge AI 应用设备提供了理想的开发环境，以支持行业创造有价值的应用程序。
| 系统 | AEWIN SCB-1932C |
| 处理器 | 2颗 Intel® Xeon® Gold 5318S CPU @ 2.10GHz |
| DIMM 插槽 | 16x DDR4 32G=512G |
| OS | Ubuntu Linux 18.04 (核心: 5.4.0-Generic) |
| BIOS | C1932A003 |
| BIOS 设定 | 「4G以上解码」：启用 「4GB以上的MMIO BIOS分配」：启用 |
| PCIe 加速器 | 2x NVIDIA T4 |
图 1：测试系统设置
图2：GPU负载均衡与扩展
图 3：运行脚本以启动演示
图4：增加GPU的数量
图5：增加更多工作负载以应对更多分配的GPU。例如，GPU与同时用户的比例为2比1、2比4、2比8、2比10。
图5所示的结果显示，搭载AI Stack的AEWIN SCB-1932C边缘AI伺服器能够进行GPU负载平衡和扩展，并在我们增加工作负载和GPU时提供线性关系。
摘要
在这次测试中，我们展示了一个整合硬体（AEWIN – Intel Xeon Ice Lake SP 边缘 AI 伺服器）和软体（InfinitiesSoft AI Stack）的解决方案，以加速 GPU 负载平衡和推理的扩展。AEWIN 边缘伺服器和 AI Stack 的整合可以更有效地优化 GPU 资源的使用，并通过介面平台使 AI 开发/管理变得简单快速。安装了 AI Stack 平台的 AEWIN 边缘 AI 伺服器可以处理众多伺服器，以增强总资源以实现高效运作，并为 AI 应用创造双赢解决方案。
