研究表明,小型企业可以在搭载 AMD EPYC 处理器的 Dell PowerEdge R6615 服务器上运行内部 AI 聊天机器人

Admin 101 2025-02-14 10:16

美国德克萨斯州朗德罗克,2025 年 2 月 10 日 / EINPresswire.com / -- 各种规模的企业都渴望探索内部 AI 聊天机器人的潜力。通过使用公开的大型语言模型 (LLM) 以及组织自己的数据,这些 AI 聊天机器人可以通过搜索和内容生成功能改善客户支持并提高员工工作效率,同时确保数据的私密性和安全性。


小型公司的决策者认为 GPU 是 AI 的必要条件,他们可能会认为此类聊天机器人的入门价格对他们来说太高了。事实上,Principled Technologies (PT) 进行的基准测试表明,仅配备 CPU 的单插槽 Dell PowerEdge R6615 服务器可以成为小型企业和大型组织内部门的绝佳 AI 切入点,并且如果他们的需求随着时间的推移而增长,他们可以选择通过添加 GPU 来扩展。


为了研究不同的硬件选项如何支持内部 AI 聊天机器人,PT 使用 PTChatterly 基准测试工具测试了单插槽 Dell PowerEdge R6615 服务器的两种配置。在测试的第一阶段,仅配备 64 核 AMD EPYC 9534 处理器的 PowerEdge R6615 可以支持多达 9 个聊天机器人用户同时在线,响应时间为 5 秒。在测试的第二阶段,PT 在 Dell PowerEdge R6615 服务器中添加了一个 NVIDIA L4 GPU,并重新运行 PTChatterly 以测量 GPU 可能带来的任何改进。此配置支持 23 个同时在线用户,响应时间相同。


报告指出:“我们的测试表明,小型组织或企业内的部门可以在仅 CPU 配置中使用此解决方案,以可承受的入门价格采用支持至少 9 个同时在线用户的聊天机器人。而且由于组织的所有员工不太可能同时使用聊天机器人,因此该解决方案可以有效地轻松支持较大的部门。我们还发现,通过在服务器上添加 GPU,随着需求的扩大,组织可以扩展以支持 23 个或更多同时使用的用户。


【公司名称】四川旭辉星创科技有限公司

【销售经理】熊经理

【联系方式】座机:028-85596747    手机:18244236404

【公司地址】四川省成都市武侯区二环路南一段13号群益商务大厦1栋单元4层1-403

联系我们
您好,咨询客服了解更多促销产品
售前优惠在线咨询
QQ咨询
微信咨询
售前优惠电话咨询专线:
18244236404
售后电话咨询专线:
028-85596747

请用微信扫描二维码

1.374240s