成都DELL服务器总代理_戴尔使用 AMD AI 加速器更新服务器

Admin 49 2024-07-29 10:35

QQ图片20240729103654.png


Dell PowerEdge XE9680 配备 Instinct MI300X 加速器,这是 AMD 的高端 GPU 加速器,旨在与 Nvidia Hopper 处理器竞争。

戴尔目前正在发售搭载 AMD 最新 Instinct GPU 加速器的 PowerEdge 服务器,并提供部署支持服务和软件,以快速构建生成式 AI 应用程序。


Dell PowerEdge XE9680 配备AMD Instinct MI300X 加速器,这是 AMD 的顶级产品,可与Nvidia 的 Hopper 处理器相媲美。PowerEdge 服务器专为利用生成式 AI 的企业而设计,配备多达八个 MI300X 加速器,总 HBM3 内存为 1.5 TB,峰值理论 FP8 为 42 petaFLOPS,具有稀疏精度性能。


此配置旨在加快大型语言模型 (LLM) 的训练和推理速度。作为测试的一部分,戴尔在一台配备单个 MI300X 加速器的服务器上部署了一个 700 亿参数的 Llama 2 模型。它还在一台配备八个 AMD Instinct MI300X 加速器的 Dell PowerEdge XE9680 服务器上以 FP16 精度对同一模型进行了微调。


PowerEdge XE9680 包括戴尔的 OpenManage Enterprise 集中式服务器管理软件(快速、简单的部署)、APEX AIOps 自动化软件以及集成的网络恢复和零信任安全功能。


戴尔验证的设计旨在简化 genAI 部署

戴尔的另一项新产品是其与 AMD 合作的经过验证的生成式人工智能设计,这是运行自己的 LLM 的组织的标准框架。经过验证的设计于 5 月发布并于今日上市,旨在让企业更轻松地部署 LLM 推理和模型定制系统。


“该设计指南为组织和开发人员提供了全面的指导,以实施 LLM 推理和模型定制,以及微调和检索增强生成 (RAG) 等高级技术。基于开放标准并减少了对专有 AI 软件套件的需求,开发人员可以使用来自 Hugging Face 和 Meta 等合作伙伴的开源 LLM 模型简化开发并自由定制工作流程,”戴尔 AI 解决方案技术营销工程团队总监 Luke Mahon 在有关新产品和服务的博客文章中写道。


在软件方面,戴尔提供由 AMD ROCm 驱动的框架,为 PyTorch、TensorFlow、ONNX-RT 和 JAX 等开源 LLM 提供支持,以及为 AMD Instinct 加速器提供全栈驱动程序、开发工具包和 API。


此外,“Dell Omnia 简化了 AI 集群的创建和管理,实现了配置自动化,从而实现了高效的工作负载处理,”Mahon 写道。(Omnia是一个开源工具包,用于部署和管理 HPC、AI 和数据分析工作负载的高性能集群。)


Mahon 表示,戴尔科技公司推出的企业 SONiC 发行版将开源 SONiC 平台与戴尔 PowerSwitch 相结合,提供可扩展的网络解决方案,可提供高级功能和企业级支持。


为了帮助客户实施 AI 计划,戴尔于 9 月推出了平台实施服务。顾问将帮助客户建立一个用于构建和部署 AI 工具和框架的平台。戴尔还将提供半天的加速器研讨会,帮助企业确定如何从 AI 中获得最大价值。


【公司名称】四川旭辉星创科技有限公司

【代理级别】成都戴尔服务器工作站总代理

【销售经理】熊经理

【联系方式】座机:028-85596747    手机:18244236404

【公司地址】四川省成都市武侯区二环路南一段13号群益商务大厦1栋单元4层1-403

联系我们
您好,咨询客服了解更多促销产品
售前优惠在线咨询
QQ咨询
微信咨询
售前优惠电话咨询专线:
18244236404
售后电话咨询专线:
028-85596747

请用微信扫描二维码

1.221524s