Llama Stack 发行版打包了多个 Llama Stack API 提供程序,以简化开发人员生成式 AI 应用程序的端到端开发。

为了简化生成式 AI 应用程序的开发,Meta 正在分享其第一个官方 Llama Stack 发行版,以简化开发人员在不同环境中使用 Llama 大语言模型 (LLM) 的方式。

Llama Stack 发行版于 9 月 25 日发布,打包了多个可以很好地协同工作的 Llama Stack API 提供程序Meta 在博客文章中宣布,为开发人员提供单一端点。Llama Stack 定义了将生成式人工智能应用程序推向市场的构建模块。这些构建块跨越了从模型训练和微调到产品评估,再到在生产中构建和运行 AI 代理和检索增强生成 (RAG) 应用程序的开发生命周期。Llama Stack API 规范的存储库可以在 GitHub 上找到。

Meta 还在为 Llama Stack API 构建提供程序。该公司希望确保开发人员能够使用跨平台一致、互锁的部件来组装人工智能解决方案。Meta 表示,Llama Stack 发行版旨在使开发人员能够在多种环境中使用 Llama 模型,包括本地、云、单节点和设备上。Llama Stack 由以下一组 API 组成:

• 推理
• 安全
• 内存
• 代理系统
• 评估
• 培训后
• 综合数据生成
• 奖励评分

每个 API 都是以下内容的集合:REST 端点。Llama Stack 发行版的推出与 Llama 3.2 的 Metas 版本一起推出,其中包括中小型视觉 LLM(11B 和 90B)以及适合边缘和移动设备的轻量级纯文本模型(1B 和 3B)。