生成式人工智能让模型成为基础设施领域讨论的焦点。智能体 AI
则改变了这一局面：当智能体检索数据、调用工具、执行代码并协调多步骤工作流时，围绕模型运行的软件变得与推理本身同等重要。
为满足不断演进的基础设施需求，Arm 推出了基于 Arm Neoverse 平台的 Arm AGI CPU，其专为智能体 AI 的计算需求而打造。Arm
AGI CPU 旨在提供支持高并发智能体工作负载所需的性能、可扩展性与能效，涵盖编排、工具执行、数据检索和应用服务等。
在 2026 开放计算全球峰会(OCP Global Summit)上，Arm 介绍了一套针对智能体 AI 的全新 CPU
评估方法，并获得富士通(Fujitsu)、Meta 和 OpenAI 的支持。同时，第三方验证结果表明，Arm AGI CPU 的每机架性能最高可达 x86
服务器处理器的 2 倍。
要实现智能体 AI 的大规模部署，仅靠 CPU
创新是不够的，还需要一个复盖智能体框架、编排、数据基础设施、网络和应用服务的强大软件生态系统。凭借多年来与开源社区、软件厂商及云服务提供商的深入合作，Arm
已构建起成熟且经过生产环境验证的软件生态系统，为迈入这一新时代奠定了基础。如今，云原生和 AI 软件已广泛原生支持 Arm64，基于 Arm Neoverse
平台的 CPU 也已在全球领先的云平台上实现规模化部署。依托这一成熟的软件基础，开发者可以在 Arm AGI CPU 上构建智能体 AI
应用，并实现规模化扩展。
智能体任务背后的软件
智能体 AI
软件栈涵盖智能体框架与编排、工具执行、记忆与检索、模型服务以及云原生基础设施。如下图所示，这些能力由广泛的开源及商业技术生态共同支持，其中包括
LangGraph、LangChain、Firecracker、Redis、Elasticsearch 和 vLLM。
智能体 AI 软件栈将智能体框架、编排、运行时服务、数据检索以及模型服务整合在统一的云原生基础之上，为软件工程、机器人及自动化等各类应用提供支持。
开发者可以通过 Arm Software Ecosystem Dashboard 了解软件可用性、支持的版本及相关资源，其中还设有 Agentic AI
专类。开发者可以此为起点，利用熟悉的技术在 Arm64 上构建和部署智能体 AI 应用。
不同智能体，不同的基础设施需求
尽管各种智能体 AI 应用共享通用的软件基础，但根据其执行不同任务，对基础设施的要求存在着显著差异。编程智能体需要频繁执行代码、编译软件和运行测试，因此对
CPU 性能及沙箱环境提出了更高要求;而企业工作流智能体高度依赖 API
交互、数据库事务及编排;研究型智能体依赖高效的搜索、信息检索及记忆管理。个人助理更注重交互响应能力;机器人应用则对仿真及时延敏感的协同提出了更多需求。
这些工作负载的差异，是 AI 应用设计与部署方式整体发生转变的一部分。深入了解智能体 AI 如何推动云、边缘及物理系统的计算发展。
对于开发者而言，了解智能体的执行时间主要消耗在哪些环节，是优化软件栈的关键。例如提升编程智能体的沙箱性能、提高企业工作流中的数据库和 API
效率，以及优化研究型智能体的检索与缓存，都有助于提升端到端任务性能。这些差异也说明，在评估智能体 AI
基础设施时，应着眼于完整的工作流，而不能只关注模型推理性能。
从软件适配迈向性能优化
为应对这些多样化的工作负载需求，Arm 正致力于优化智能体 AI 软件栈中关键组件的性能，复盖开源软件和商业软件。
工具执行与沙箱：Signal65 对 Arm AGI CPU 进行的独立测试显示，与 AMD EPYC 9965 相比，其沙箱创建时延最高降低
45%，凸显了 CPU 性能对于智能体工具执行的重要性。
企业搜索与检索：智能体依赖对企业中结构化和非结构化数据的高效访问。Elasticsearch
通过向量搜索、混合检索和实时搜索等能力支持此类工作负载。Arm 最近发布的 Elasticsearch 性能基准测试显示，在基于 Arm
架构的基础设施上运行此类工作负载具有性能优势。
向量数据库与智能体记忆：向量数据库支持智能体检索相关上下文，并在多步骤工作流中访问持久化保存的知识。Redis
等技术可支持向量搜索、缓存和智能体状态管理。Arm 正与生态合作伙伴携手，在 Arm64 上优化这些工作负载。Redis 8.10.1
向量搜索基准测试显示，AWS Graviton5 每美元可完成的上下文获取次数比 x86 多 16% 至 27%：在正常负载下，AWS Graviton5
在包含 57 万份文档的数据集上具有 16% 的性价比优势;在高负载下，包含 330 万份文档的数据集上，这一优势进一步提升至 27%。
模型服务：模型服务框架也是 Arm 软件优化的重点领域之一。Arm 已发布相关 vLLM 开发者资源，演示如何在基于 Arm
架构的服务器上部署模型、开展量化推理及进行性能调优，帮助开发者提升推理吞吐量和资源利用效率。
OpenInfer 等新兴独立软件供应商(ISV)正在推动面向异构计算资源的智能推理路由与调度。OpenInfer 正与 Arm 展开合作，展示其
Loom 平台如何在多个基于 Arm 架构的 CPU 运行 AI 模型。
智能体 AI 实践：Arm AGI CPU 上的客户服务演示
为了展示智能体 AI 软件生态系统在实际应用中的运作，Arm 使用 LangGraph 和 LangChain 开发了一款运行于 CPU
的多智能体客户服务应用。该应用利用由 CPU 承载的小语言模型(Small Language
Model，SLM)对收到的客户请求进行分类，并将其路由至负责会议安排、客户投诉、产品咨询和退款的专用智能体。这些智能体综合运用了 CPU
推理、企业数据检索、外部模型 API
及工具执行能力，可完成一系列多步骤工作流，包括安排会议、生成个性化产品宣传册，以及通过企业系统发起退款处理。该演示展示了开发者如何在基于 Arm
架构的基础设施上整合熟悉的开源软件组件，构建端到端的智能体 AI 应用。
客户服务演示视频请查看：Arm 官微
在 Arm 平台上构建并优化智能体 AI
Arm 向开发者开放了众多实用工具，旨在借助其成熟的 Arm64 软件生态，助力智能体 AI 应用的搭建、上线与性能调优。借助 Arm Learning Paths 平台，技术人员能获取实操指南，掌握基于 llama.cpp 打造 AI 智能体的技巧，利用 LangChain 结合 FAISS 搭建检索增强生成（RAG）系统，以及在 Arm 服务器端高效部署 vLLM 模型服务层。这些内容指引用户跨越单纯的技术适配阶段，深入实际场景下的智能体应用开发与效能提升。
AI 智能体技能库的日益丰富，进一步降低了在 Arm 基础设施上开发、迁移和优化的门槛。AWS 发布了 Graviton developer skills，辅助开发者驾驭 AWS Graviton 芯片；Arm 则通过龙蜥社区（OpenAnolis）的 SkillHub 贡献了包括 Arm Performix、Arm Performix CI 以及 Arm Migrate Ease 在内的多项技能。这些行动将针对特定平台的优化经验深度融入 AI 辅助编程流程中。
Arm 联合开源社区、软件厂商及云服务商，持续壮大智能体 AI 的软件环境。开发者可访问 Arm Software Ecosystem Dashboard 了解受支持的技术框架，并通过 Arm Learning Paths 立即启动 Arm64 端的开发工作。在该路径下，教程提供了以下关键指导：
· 运用 llama.cpp 搭配 llama-cpp-agent 创建 AI 智能体；
· 在隔离的 Firecracker microVM 环境中运行由 AI 生成的代码片段；
· 借助 LangChain 和 FAISS 技术构建 RAG 应用系统；
· 在 Arm 架构服务器上部署 vLLM 模型服务底座。
上述资源引导开发者从基础适配走向真实世界中智能体 AI 应用的构建与优化。
– 结束 –
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，硕谷新闻聚合所有文章均包含本声明。
暂无评论内容