Google发布VaultGemma，这是一个目前最大拥有10亿参数，从头以差分隐私方法训练的语言模型。该模型的特色在于提供串行层级的隐私保护，实测显示，在以50 Token前缀检测背诵时，未观察到模型复制训练样本。Google同步将权重发布至Hugging Face与Kaggle，方便研究人员与开发者下载与实验。

Google在推出VaultGemma的同时，同时发布了一项新的研究成果，称为差分隐私语言模型的扩展定律。研究指出，当在训练大型语言模型时引入差分隐私，传统的规模越大、表现越好的定律会受到扰动。

研究团队以模型大小、迭代次数与噪声批次比（Noise-batch Ratio）作为主要变量，构建一套能准确预测训练损失的模型。实验结果显示，要在差分隐私的条件下维持学习稳定度，应采用较小的模型，并搭配大幅放大的批次与适当的迭代次数，而该方法有别于一般非差分隐私训练模型的优化配置。

在训练过程中，Google团队必须解决差分隐私SGD（DP-SGD）的实务挑战。传统的固定批次方式无法提供最佳的隐私保护，因此研究人员改采Poisson采样，让每次抽出的批次更随机，不过，这种方法会导致批次大小不一致，数据处理顺序也变得不可预测，增加了训练的复杂度。

由于要兼顾效率与隐私，研究团队引入先前提出的Scalable DP-SGD技术，通过在批次中加入填充或删减的方式，将不同大小的批次转换成固定大小，确保隐私会计（Privacy Accounting）仍然严谨，并让训练流程保持稳定。除此之外，团队还将预训练串行长度设为1,024 Token，以便能使用更大的批次规模，并延续Gemma 2所采用的数据混合方式。

性能评估显示，VaultGemma在HellaSwag、BoolQ、PIQA、SocialIQA、TriviaQA与ARC等标准基准测试上的表现，低于同样规模的非DP版本Gemma 3 1B（10亿），但与5年前的GPT-2 1.5B（15亿）相当，也就是说，当前差分隐私训练在性能上仍存在落差，却也展现了模型在问答、推理、阅读理解等基础任务上的可用性。

在隐私单位的选择上，VaultGemma采串行层级的差分隐私，对应到异质且长度不一的文件组合。官方也提醒，在一些应用场景中，当数据能直接对应至单一用户，则以用户层级的差分隐私会更为合适。

VaultGemma的价值不在于与最新非差分隐私模型竞争，而是提供一个有理论支持、实测验证且公开可用的基础，让开发者在隐私保护与性能之间有更明确的参考点。Google此次发布的模型卡与技术报告，详细列出隐私会计方式、训练架构与性能基准，协助研究人员理解当前隐私与性能的权衡。