Liqid 表示,通过在单个 Dell R760 服务器上配备多达 30 个 NVIDIA L40S GPU,Liqid 可以将 Dell 服务器转变为本地 AI 模型训练强国。
Liqid提供可组合服务器 Matrix 软件和硬件,使用 PCIe 结构和交换机将 x86 处理器和内存与装有加速器、存储和网络设备的机箱连接起来。其目的是动态配置或组合特定工作负载的服务器,并校准服务器组件资源的数量,这样就不会出现未使用的资源闲置和滞留在固定配置服务器中的情况。工作负载完成后,其组件资源将返回到 Liqid 池以供重复使用。
它还可以用于动态配置服务器,从而获得比静态配置通常支持的多得多的加速器资源。这就是本周在拉斯维加斯举行的 Dell Technologies World 2024 (DTW24) 上所展示的内容。
Liqid 联合创始人兼首席战略官 Sumit Puri 在即将发布的博客中表示:“高效部署 AI 应用程序对我们的客户至关重要。Liqid 与 Dell Technologies 和 NVIDIA 合作开发的创新型 UltraStack 配置在单个 CPU 后面集成了 30 个 NVIDIA L40S GPU。这使得更少的服务器能够处理更多的工作,大幅削减资本和运营支出,并显著提高 AI 的性能、效率和可持续性。”
去年 11 月,Liqid 宣布推出适用于 Dell R760xa 服务器和 NVIDIA L40S GPU 的16-GPU UltraStack参考架构。今年 3 月,它将其升级到 20 个 GPU,现在更进一步,支持多达 40 个 L40S GPU。
NVIDIA 的 L40S GPU 总体上不如其 H100 和 A100 加速器以及较新的 Blackwell GB200 和 B200 系统强大,这意味着核心更少、内存更少、带宽更低。生成 AI 模型训练(生成 Llama 2 和 GPT-4o 等系统)是在大规模 GPU 农场中进行的,这些农场拥有数百甚至数千个 GPU,耗资数百万美元。这使得此类训练超出了除超大规模企业(如 Meta 和较大的公共云)以外的所有企业的能力范围。
规模较小的训练运行(例如针对特定用例改进通用模型)可以更实际地在本地运行,或者在具有 GPU 农场的 MSP(例如CoreWeave )处租用时间。是否使用此类 MSP 的决定可能归结为数据主权问题,也可能涉及将高度敏感的信息暴露在公司 IT 墙外的担忧,或者将数据传输到云 GPU 农场资源所需的时间过长。
这正是 Liqid 的优势所在,其 UltraStack 技术可以将一台 Dell R760 AI 服务器变成一个迷你 BasePod,利用专有数据进行模型微调。其联合 SmartStack 技术可以采用相同的 GPU 资源,并以动态组合的切片形式将其提供给许多客户端。
Liqid 博客声称:“最新的 30 路 Liqid UltraStack 产品以 2024 年底发布的 10 路和 20 路解决方案为基础,与四台 8 GPU 服务器提供的同等 GPU 密度相比,每秒操作数提高了 2 倍,TCO 降低了 50%,重新定义了高密度 GPU 系统的极限。”
Liqid 已通过其 SmartStack 产品认证戴尔的 PowerEdge 模块化基础设施系统,即 PowerEdge C 系列(C6620、C6625 和 C6615)。这可以将最多 20 个 GPU 连接到单个模块化服务器节点。SmartStack 还支持 MX7000 以及每个 MX760c、MX750c 和 MX740c 计算托架(刀片)上最多 20 个 GPU 的连接。
据我们了解,Liqid 可以支持 AMD 和 Intel 等供应商的 GPU 和其他加速器。该公司还意识到,可以向希望提供 GPU 租赁服务的 MSP 推销其 SmartStack 和 UltraStack 技术。
【公司名称】四川旭辉星创科技有限公司
【代理级别】成都戴尔服务器工作站总代理
【销售经理】熊经理
【联系方式】座机:028-85596747 手机:18244236404
【公司地址】四川省成都市武侯区二环路南一段13号群益商务大厦1栋单元4层1-403
请用微信扫描二维码