Is Memorization Context-Sensitive? Prefix-Based Extraction Beyond Isolated Prefixes

arXiv cs.AI · 9 oct, 06:00

Investigadores analizan si el contexto en sistemas desplegados (como RAG) mitiga la exposición de secuencias memorizadas en LLMs durante la extracción basada en prefijos. Encuentran que el contexto no elimina la memorización, sino que divide las muestras extraíbles en un núcleo robusto al contexto y una frontera sensible al contexto.