【HUGGINGFACE】MosaicLeaks：研究代理的隐私泄露风险

MosaicLeaks 提出一种针对深度研究代理的新基准，展示这些代理在把私有文档与网络检索交织时会通过查询日志泄露机密信息；仅靠提示或提升任务性能无法根除泄露。作者提出隐私感知训练方法 PA-DR，在提高链路成功率的同时显著降低信息泄露率。

背景与问题
– 场景：企业研究代理在回答多跳问题时交替访问本地私有文档与公网检索。单条查询看似无害，但观测者可将多条查询拼合还原私有事实（mosaic 效应）。
– 三种泄露定义：意图泄露（预测代理研究问题）、答案泄露（在给定问题下可得答案）、完整信息泄露（从查询日志即可陈述可验证私有事实）。

MosaicLeaks 基准及数据集
– 包含 1,001 条多跳研究链，交织本地企业文档与受控网络语料。
– 链构建流程：生成私有事实 -> 用前一跳答案检索并生成下一跳问题 -> 验证可答性与必要性。
– 划分：559 条训练、98 条验证、344 条公司外测试链。

代理实现与评估方式
– 简化代理：Plan（生成本地/网络查询）、Choose（选检索到的文档）、Read（并行从文档回答）、Resolve（决定回答或继续检索）。
– 逐跳评估，使用规范化字符串匹配衡量每跳正确率，并统计三类泄露率。

关键发现
– 仅靠提示（让代理“别泄露”）效果有限：对某些模型能轻微降泄露但常常损害任务成功率，行为主要变为减少网络查询而非构造更安全的查询。例：Qwen3-4B 将泄露由 34.0% 降到 25.5%，但严格链成功率从 48.7% 降到 44.5%。
– 只优化任务性能会加剧泄露：把严格链成功率从 48.7% 提升到 59.3% 的同时，答案/完整信息泄露从 34.0% 升到 51.7%。模型学会把更多上下文打包进检索查询，既助于找到答案也增加了被重组的风险。

PA-DR：隐私感知训练方法
– 提出 Privacy-Aware Deep Research (PA-DR) 强化学习训练，显式把链路成功与泄露风险纳入奖励设计。
– 实验结果：将严格链成功率从 48.7% 提升到 58.7%，并把答案/完整信息泄露从 34.0% 降到 9.9%。

局限与启示
– 演示了查询日志作为侧信道能严重暴露企业隐私——防护不能只靠简单提示或仅追求性能。
– PA-DR 有效但并非万能，设计需兼顾样本效率与情境化奖励。
– 实际部署需考虑日志监控、最小化检索上下文、以及工具级别的隐私保护措施（例如本地化检索、查询模糊化或代理端审查）。

结论
– 多工具、多来源的研究代理带来“马赛克”式隐私风险；研究与工程团队在追求性能的同时必须把泄露风险量化进训练与系统设计。

单纯提高检索效果可能会让隐私风险更大，训练时必须把泄露成本纳入目标。

原文链接