Role-Based Access Control (RBAC) struggles to adapt to dynamic enterprise environments with documents that contain information that cannot be disclosed to specific user groups. As these documents are used by LLM-driven systems (e.g., in RAG) the problem is exacerbated as LLMs can leak sensitive data due to prompt truncation, classification errors, or loss of system context. We introduce \our, a system designed to provide RBAC in RAG systems. \our implements layered input/output validation, role-aware retrieval, and post-generation fact-checking. Unlike traditional RBAC approaches that rely on fine-tuned classifiers, \our uses LLMs operating in few-shot settings with prompt-based steering for rapid deployment and role updates. We evaluate the approach on 389 queries using a synthetic dataset. Experimental results show 85\% accuracy and 89\% F1-score in query filtering, close to traditional RBAC solutions. Results suggest that practical RBAC deployment on RAG systems is approaching the maturity level needed for dynamic enterprise environments.


翻译:基于角色的访问控制(RBAC)在动态企业环境中面临适应性挑战,尤其是当文档包含不可向特定用户群体披露的信息时。随着大型语言模型驱动系统(例如在检索增强生成中)使用这些文档,该问题进一步加剧——由于提示截断、分类错误或系统上下文丢失,大型语言模型可能泄露敏感数据。本文提出\our系统,旨在为检索增强生成系统提供RBAC支持。\our实现了分层输入/输出验证、角色感知检索和后生成事实核查。与依赖微调分类器的传统RBAC方法不同,\our采用基于提示引导的少样本大型语言模型,以实现快速部署和角色更新。我们在包含389个查询的合成数据集上评估该方法。实验结果显示查询过滤准确率达到85%,F1分数达89%,接近传统RBAC解决方案。结果表明,在检索增强生成系统上部署实用RBAC方案正逐步达到动态企业环境所需的成熟度水平。

0
下载
关闭预览

相关内容

Kaggle知识点:伪标签Pseudo Label
AINLP
40+阅读 · 2020年8月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员