首页 > 科技快讯 > 苹果的新AI，是如何“练”成的？

苹果的新AI，是如何“练”成的？

晰数塔互联网快讯
2024-07-31 21:45

前言

Siri 终于变身“AI Siri”，万众期待的 Apple Intelligence 来了。

伴随 Apple Intelligence 上线 iOS 18、iPadOS 18 和 macOS Sequoia，苹果也发布了自家大模型的技术报告，公布了大量技术细节，十分受业界关注。

据介绍，Apple Intelligence 包含了多个高效能的生成模型，它们快速、高效，专为用户日常任务而设计，并能即时适应用户当前的活动。构建到 Apple Intelligence 中的基础模型已经为用户体验进行了优化，如写作和润色文本、优先级排序和汇总通知、为与家人和朋友的对话创建有趣的图片，以及采取应用内操作以简化跨应用交互。

在技术报告中，苹果团队详细介绍了其中两个模型——一个约 30 亿参数的语言模型 AFM（Apple Foundation Model），以及一个更大的、基于服务器的 AFM-server 语言模型——是如何构建和适配的，从而高效、准确地执行专业任务。

图｜AFM 的模型概况

这两个基础模型是苹果创建的更大生成模型家族的一部分，用于支持用户和开发者；这包括一个基于 AFM 语言模型的编程模型，用于构建 Xcode 中的智能；以及一个扩散模型，帮助用户在视觉上表达自己，如在信息应用中。

AFM的性能怎么样？

AFM 在开发过程中经历了严格的评估，评估结果表明，模型在预训练、后训练和特定任务上都表现出色，并符合苹果的核心价值观和负责任 AI 原则。

1. 预训练评估

苹果团队使用 HELM MMLU、HELMLite 和 OpenLLM 等公开评估基准，评估了 AFM 模型的语言理解和推理能力。结果显示，AFM 模型在多个评估指标上取得了优异的成绩，展现了强大的语言理解和推理能力，为后续的后训练和特定任务应用奠定了基础。

2. 后训练评估

苹果团队结合人类评估和自动评估基准，评估了 AFM 模型的通用能力和特定能力，比如指令遵循、工具使用和写作。评估结果如下：

人类评估：AFM 模型在多个任务上媲美或优于其他开源和商业模型，表明模型能够理解和遵循复杂指令，并生成高质量的文本。

图｜AFM 模型与其他开源模型和商业模型对比，人类评分者更喜欢 AFM 模型。

研究团队在神经元描述范式上评估 MAIA，研究显示，MAIA 在真实模型和合成神经元数据集上均取得了优异的描述效果，预测能力优于基线方法，并与人类专家相当。

指令遵循评估：AFM 模型在 IFEval 和 AlpacaEval 2.0 LC 等基准上取得了优异的成绩，表明模型能够有效地理解和遵循指令。

图｜AFM 模型和相关模型的指令遵循能力比较，使用 IFEval 测量，值越高表示能力越好。

工具使用评估：AFM 模型在 Berkeley Function Calling Leaderboard 基准上取得了最佳的整体准确率，表明模型能够有效地使用工具。

图｜AFM-server 达到了最佳的整体精度，优于 Gemini-1.5-Pro-Preview-0514 和 GPT-4。

写作评估：AFM 模型在内部总结和写作基准上表现出色，表明模型能够生成流畅和高质量的文本。

图 | AFM 与一些最杰出的模型以及较小规模的开源模型进行比较。与Gemma-7B和Mistral-7B相比，AFM-on-device 可以实现相当或更好的性能。AFM-server 显著优于 dbrx - directive，与 GPT-3.5 和 GPT-4相当。

数学评估：AFM 模型在 GSM8K 和 MATH 等基准上取得了优异的成绩，表明模型能够有效地解决数学问题。

图｜研究团队比较了训练后 AFM 在数学基准上的表现，包括 GSM8K 和 math。AFM-on-device 的性能明显优于 Mistral-7B 和 Gemma-7B。

此外，研究团队还对模型进行了特定任务评估和安全性评估。他们使用人类评估和特定任务评估基准，评估 AFM 模型在特定任务上的表现，例如邮件摘要、消息摘要和通知摘要。根据评估结果，AFM 模型在邮件摘要、消息摘要、通知摘要方面的表现在多个方面优于其他模型，比如准确性、完整性和可读性。

在安全性方面，研究团队使用对抗性数据集和人类评估，评估 AFM 模型对有害内容和敏感话题的抵抗力。评估结果显示，AFM 模型对对抗性数据和敏感话题表现出了良好的抵抗力，在一定程度上避免了产生有害或不当的响应。

AFM是如何“练”成的

1. 架构

与大多主流模型一样，AFM 模型基于 Transformer 架构，但也采用了一些特定的设计选择来提高效率和性能。主要组成部分如下：

Transformer 模块：AFM 使用标准的 Transformer 模块，包括多头注意力机制和前馈神经网络。

共享输入/输出嵌入矩阵：该设计减少了模型参数的数量，提高了内存效率。

预归一化和 RMSNorm：这些技术提高了训练的稳定性，并帮助模型学习更复杂的模式。

查询/键归一化：该技术进一步提高了训练的稳定性。

分组查询注意力（GQA）：GQA 机制减少了内存占用，并提高了计算效率。

SwiGLU 激活函数：该激活函数提高了模型的效率。

RoPE 位置嵌入：RoPE 机制支持长文本的编码，并提高了模型对上下文的表示能力。

图｜AFM-on-device 具有 3072 个参数，适用于在设备上进行推理。它使用了 26 个 Transformer 层，每个层包含 128 个头，8 个查询/键头和 24 个查询头。

2. 预训练

AFM 模型的预训练过程旨在训练强大的语言模型，以支持 Apple Intelligence 系统的各种功能。AFM 模型使用 AXLearn 框架在 Cloud TPU 群上训练，该框架支持大规模模型和序列长度的训练，并提供了高效的训练和推理性能。

AFM 预训练数据集由多种类型的优质数据组成，包括：

网页内容：使用 Applebot 爬取的公开可用信息，并进行了过滤。

授权数据集：从出版商获得的高质量数据集，提供多样化的长文本数据。

代码：从 GitHub 上获取的开源代码数据，覆盖多种编程语言。

数学：包含数学问题、论坛、博客、教程和研讨会等数学内容的网页数据。

公共数据集：经过评估和筛选的公开可用数据集。

AFM 预训练分为三个阶段：

核心阶段：使用最大规模的数据集进行训练，主要目标是学习基础的语言知识和模式。

持续阶段：在核心阶段的基础上，增加代码和数学数据，并降低网页数据的权重，以进一步扩展模型的知识范围。

上下文扩展阶段：在持续阶段的基础上，使用更长的序列长度和合成长文本数据，以提高模型对长文本的处理能力。

3. 后训练

AFM 在预训练阶段获得了强大的语言理解能力，但为了将其应用于特定任务，比如邮件摘要、消息摘要和通知摘要，还需要进行后训练。包括：

监督微调（SFT）：

数据收集：使用人类标注数据和合成数据，确保数据质量多样且涵盖各种自然语言使用场景。

数据混合：仔细选择和组合人类数据和合成数据，形成高质量的数据混合。

微调方法：使用 LoRA 适配器对模型进行微调，仅调整适配器参数，保留模型的通用知识。

基于人类反馈的强化学习（RLHF）：

奖励模型：使用人类偏好数据训练奖励模型，评估模型响应的质量。

迭代教学委员会（iTeC）：使用多种偏好优化算法，包括拒绝采样、直接偏好优化和在线强化学习，迭代地改进模型。

在线 RLHF 算法（MDLOO）：使用 Mirror Descent 策略优化和 Leave-One-Out 优势估计器来最大化奖励，提高模型质量。

后训练的优势：

模型质量提升：后训练显著提高了 AFM 模型的质量和性能，使其在特定任务上表现出色。

符合苹果核心价值观和负责任 AI 原则：后训练过程充分考虑了数据质量、安全性和有害内容的过滤，确保模型符合苹果的核心价值观和负责任 AI 原则。

可扩展性：后训练方法可扩展到其他任务，使 AFM 模型能够支持更多 Apple Intelligence 功能。

4. 推理优化

AFM 不仅需要具备强大的语言理解能力，还需要能够高效地运行在 iPhone、iPad 和 Mac 等设备上，以及 Apple 硅服务器上的 Private Cloud Compute。为了实现这一目标，苹果开发了一系列优化技术，以确保 AFM 模型在特定任务上的高效运行，同时保持整体模型质量。

优化方法：

模型量化：使用 4 位量化技术对 AFM 模型进行量化，显著降低模型大小和推理成本。

精度恢复适配器：使用 LoRA 适配器来恢复量化模型的精度，使其接近未量化模型的表现。

混合精度量化：使用 4 位和 2 位量化精度对模型的各个层进行量化，进一步降低内存占用，同时保持模型质量。

交互式模型分析：使用 Talaria 工具分析模型的延迟和功耗，指导比特率选择，优化模型性能。

运行时可替换的适配器：使用 LoRA 适配器来微调模型，使其能够针对特定任务进行调整，同时保持模型的通用知识。

优化案例——邮件摘要：

数据收集：收集包含电子邮件、消息和通知摘要的输入数据，并进行数据清洗和去重。

合成摘要生成：使用 AFM 服务器生成符合产品要求的合成摘要，并使用规则和模型进行过滤，确保数据质量。

提示注入：将 AFM 服务器生成的摘要添加到训练数据中，帮助 AFM 设备模型更好地理解和生成摘要。

此外，Apple Intelligence 遵循一系列负责任的 AI 原则，包括赋能用户、代表用户、谨慎设计、保护隐私等。在这篇技术报告中，苹果反驳了有关其采用道德上有问题的方法来训练某些模型的指控，重申它没有使用私人用户数据，而是将公开可用的数据和授权数据结合起来用于 Apple Intelligence。他们强调， AFM 模型的训练数据是以“负责任”的方式获取的。

更多详细内容，请查看技术报告：https://machinelearning.apple.com/papers/apple_intelligence_foundation_language_models.pdf

本文来自微信公众号：学术头条，作者：马雪薇