Rag
设备端信息检索
在用户设备上进行信息检索以保障隐私和提升效率。
Brief
设备端信息检索是一种技术，使搜索、上下文感知以及检索增强生成（RAG）能够完全在用户设备上运行——包括移动端、桌面端或边缘设备——从而优先保障隐私并提升计算效率。它将轻量级本地数据库与为设备端推理优化的模型相结合。
一种很有前景的实现方式，是将 sqlite-vec 与 EmbeddingGemma 搭配使用：前者是一个 SQLite 扩展，可在嵌入式数据库中进行向量搜索；后者是基于 Gemma 3 架构、拥有 3 亿参数的嵌入模型。针对高效性和资源受限环境进行优化后，这种组合能够让数据尽可能留在边缘侧，减少对云端 API 的依赖，同时改进延迟表现并提升隐私保护。
我们建议团队在以下场景中评估这种技术：以“本地优先”为特征的应用，以及任何数据主权、低延迟和隐私性至关重要的用例。
来源：技术雷达