戴尔和 IBM 子公司 Red Hat 正在将 PowerEdge R760xa 服务器与 Red Hat Enterprise Linux AI(RHEL AI)打包在一起,为采用生成式 AI 的客户运行大型语言模型。
2RU R760xa服务器最多配备 2 个第五代 Xeon 64 核 CPU、PCIe 第五代互连,支持 Nvidia A10/A30/A40、L4/L40/L40S、A100 和 H100 GPU,以及 8 个 NVMe 或 6 个 SATA 存储驱动器托架。它使用 Nvidia 的 Omniverse OVX 3.0 平台,是戴尔 AI Factory 产品的一部分。RHEL AI 是增强了 AI 功能的标准 Red Hat Enterprise Linux。
Red Hat 高管、生成式 AI 基础平台副总裁兼总经理 Joe Fernandes 表示:“通过与戴尔科技合作,在戴尔 PowerEdge 服务器上验证和支持 RHEL AI,我们让客户能够更加自信、灵活地在混合云环境中利用 GenAI 工作负载的强大功能,推动其业务迈向未来。”
戴尔科技高级副总裁 Arun Narayanan 表示:“在戴尔 PowerEdge 服务器上验证 RHEL AI 是否适用于 AI 工作负载,让客户更加有信心,服务器、GPU 和基础平台都经过了持续测试和验证。这简化了 GenAI 用户体验,并加快了在可信软件堆栈上构建和部署关键 AI 工作负载的过程。”
RHEL AI 是 Red Hat OpenShift AI 的一部分,它有两个关键特性。第一个是 IBM Research 的开源Granite LLM 集,第二个是一对 InstructLab 项目,它们是基于 LAB (聊天机器人大规模对齐)方法和InstructLab项目的模型对齐工具。
后者指的是采用社区方法进行模型开发,旨在增强 GenAI LLM,由 IBM 和 Red Hat 创建。两家公司表示,它可以“使用比通常用于重新训练模型少得多的人工生成的信息和少得多的计算资源来增强 LLM。并且它使上游贡献者能够不断改进模型。”
Red Hat 的 OpenShift AI 是一个混合云机器学习操作 (MLOps) 平台,用于在分布式集群环境中大规模运行模型和 InstructLab。
Dell PowerEdge 服务器上的 RHEL AI 将于 2024 年第三季度上市。
【公司名称】四川旭辉星创科技有限公司
【代理级别】成都戴尔服务器工作站总代理
【销售经理】熊经理
【联系方式】座机:028-85596747 手机:18244236404
【公司地址】四川省成都市武侯区二环路南一段13号群益商务大厦1栋单元4层1-403
请用微信扫描二维码