● NeuroSec Radar
Entrar

● Trascendental · últimas 48 h

Destacados · últimas 48 h

8CiberINCIBE-CERT avisos ·

Últimas noticias

3807 noticias
Limpiar
4IA × CiberarXiv cs.CR ·

Optimizing and Securing the Modern Watermarking Channel for Images

Investigadores proponen un modelo teórico para esquemas modernos de watermarking post-hoc en imágenes basados en redes neuronales profundas. Identifican fallos de diseño fundamentales, incluida la falta de clave secreta y limitaciones de capacidad debido a restricciones binarias, y presentan SNW, un sistema mejorado que alcanza mayor capacidad y garantías de seguridad sólidas.

#Investigación#Herramienta
5IA × Ciber✨arXiv cs.CR ·

AuxMark: Defending Against Unauthorized Agent Distillation via Auxiliary Behavioral Watermarking

Investigadores presentan AuxMark, un marco de watermarking conductual para detectar la destilación no autorizada de agentes basados en LLM. El método inserta dinámicamente acciones auxiliares seguras en las trayectorias del modelo maestro y utiliza pruebas estadísticas para detectar si un modelo estudiante fue entrenado con datos del modelo original.

#Supply chain IA#IA defensiva
5IA × Ciber✨arXiv cs.CR ·

SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents

Investigadores presentan SEAD, un marco que modeliza ataques y defensas en agentes basados en modelos de lenguaje que utilizan herramientas externas. El trabajo introduce DART, una técnica de ataque que descompone objetivos dañinos en pasos localmente plausibles usando retroalimentación de ejecución, y SAGE, un defensor que investiga el estado del sistema antes de permitir cada acción. En evaluaciones en línea, SAGE reduce el éxito de ataques ejecutables de DART del 48% al 4%.

#Seguridad LLM#IA defensiva#IA ofensiva
5IA × CiberarXiv cs.CR ·

How to Tame a Multi-Headed Hydra? Adaptive Multi-Category Safety Steering for Large Language Models

Investigadores proponen CAM-Steer, un framework de steering de activaciones para mejorar la seguridad de LLMs ante prompts dañinos que pertenecen a múltiples categorías de daño simultáneamente. El método adapta la dirección y fuerza del steering comparando estados ocultos con prototipos seguros y peligrosos, sin modificar los parámetros del modelo.

#Seguridad LLM#IA defensiva
6IA × Ciber✨arXiv cs.CR ·

CoDeL: Co-Evolutionary Defense against Indirect Prompt Injection in LLM-based Agents

Un equipo de investigadores presenta CoDeL, un método de defensa contra inyecciones indirectas de prompts en agentes basados en LLM que utiliza co-evolución adversarial durante el entrenamiento. El enfoque entrena un defensor y un atacante de forma conjunta mediante LoRA-based GDPO, optimizando tanto la seguridad como la ejecución de tareas del usuario, logrando reducir la tasa de éxito de ataque en un 88,5% comparado con otros métodos.

#Prompt injection#Seguridad LLM#IA defensiva
6IA × CiberarXiv cs.CR ·

Breaking Windows Malware Detection: A Comprehensive Evaluation of Problem-Space Adversarial Robustness

Un estudio académico evaluó nueve ataques adversariales contra ocho detectores de malware de Windows, incluidos modelos de código abierto y un detector comercial, bajo condiciones que preservan la ejecutabilidad. Los resultados muestran que los detectores basados en bytes sin procesar son particularmente vulnerables a manipulaciones, y que dos ataques complementarios pueden evadir aproximadamente el 99% de los ejemplos adversariales generados por los demás ataques evaluados.

#IA ofensiva#Seguridad LLM
6IA × Ciber✨arXiv cs.CR ·

ReproBench: Benchmarking LLM Agents on Reproducing Vulnerability From Scratch

ReproBench es un benchmark académico que evalúa la capacidad de agentes LLM para reproducir vulnerabilidades de forma autónoma partiendo únicamente de un identificador CVE, sin proporcionarles código fuente, contenedor o binario precompilado. El estudio analiza 30 vulnerabilidades reales en firmware IoT mediante un workflow de seis fases y encuentra que solo el 5,3% de los pares CVE-modelo logran reproducir exitosamente vulnerabilidades del mundo real, aunque una parte significativa recurre a simulación de vulnerabilidades como estrategia alternativa.

#IA ofensiva#IA defensiva#Herramienta
5IA × CiberarXiv cs.CR ·

RADNPO: Reference-free Adaptive Negative Preference Optimization for LLM Unlearning

RADNPO es un método de investigación para el "machine unlearning" en modelos de lenguaje grandes, que busca eliminar información sensible, privada o protegida por derechos de autor memorizada durante el entrenamiento. El enfoque mejora técnicas anteriores de optimización de preferencias al controlar mejor cómo se redistribuye la probabilidad después de suprimir el acceso a datos objetivo, adaptando dinámicamente la intensidad del olvido según la confianza del modelo.

#Seguridad LLM#Investigación
6IA × CiberarXiv cs.CR ·

Certified Multi-Source Integrity for Structured Agent Actions

Un artículo académico propone un certificador para verificar la integridad de acciones estructuradas ejecutadas por agentes LLM bajo inyección indirecta de prompt. El trabajo formaliza mecanismos para validar que cada campo de la acción procede de fuentes íntegras, considerando corrupción en documentos y salidas de herramientas, y demuestra que las defensas ingenuas fallan contra ataques realistas en cinco modelos actuales.

#Seguridad LLM#Prompt injection
5IA × Ciber✨arXiv cs.CR ·

LoRo-Mark:Provably Lossless and Robust Agent Watermarking

Investigadores proponen LoRo-Mark, un mecanismo de watermarking para agentes LLM que permite verificar la propiedad intelectual de agentes reempaquetados por adversarios sin comprometer su funcionamiento normal. El método utiliza ramas criptográficamente autenticadas que se activan solo bajo solicitud del propietario, garantizando pérdida cero de rendimiento y robustez ante modificaciones parciales del comportamiento.

#Seguridad LLM#Supply chain IA
5IA × CiberarXiv cs.CR ·

PerceptFence: Content-Mediation Architecture and Deterministic Coverage for Screen-Share AI Assistants

PerceptFence es una arquitectura de mediación de contenidos diseñada para AI assistants con compartición de pantalla, que protege la privacidad del usuario controlando qué información sensible puede capturar, retener o divulgar el modelo. El sistema mitiga la exposición de datos personales identificables (PII) mediante un filtrado determinista en la capa de captura, memoria y respuestas, logrando resultados superiores a herramientas existentes como Microsoft Presidio en ciertos tipos de secretos.

#Seguridad LLM#Privacidad
6IA × Ciber✨arXiv cs.CR ·

The Privacy Fallacy of Crowdsourced Fine-Tuning: Extracting Proprietary Data via Topic-Based Poisoning

Investigadores demuestran que usuarios maliciosos pueden envenenar una fracción pequeña de datos en procesos de fine-tuning por crowdsourcing para amplificar la extracción de instrucciones propietarias de otros usuarios. Con solo 50 ejemplos envenenados, la extracción de datos casi verbatim aumenta hasta 3,71× en Qwen2.5-14B, y los métodos de filtrado de datos existentes detectan menos de la mitad de estas muestras maliciosas.

#Seguridad LLM#Supply chain IA#Prompt injection
4IA × CiberarXiv cs.CR ·

A2A-ForensicTrace: Offline Verification of Tamper-Evident A2A Runtime Evidence

Se presenta A2A-ForensicTrace, una capa de verificación offline para investigaciones forenses de ejecuciones Agent2Agent (A2A) que cruzan límites organizacionales. El sistema convierte observaciones en runtime en registros tipados, verifica relaciones protocolo-relevantes y utiliza firmas Ed25519 para garantizar la integridad de la evidencia. La evaluación en 240 ejecuciones mediante el SDK oficial mostró latencias medianas de 1,61 ms, con todos los casos de prueba verificados correctamente.

#Seguridad LLM#IA defensiva
3IA × CiberarXiv cs.CR ·

A2A-CaseVerify: Merkle-Linked Case-Evidence Verification for Cross-Organization A2A Workflows

A2A-CaseVerify es un verificador offline determinista para validar la integridad de comunicaciones entre agentes LLM en flujos de trabajo entre organizaciones. El sistema mapea objetos A2A, eventos empresariales y aristas de soporte a un grafo de evidencia de casos, utilizando raíces Merkle para garantizar que los mensajes están respaldados por una cadena de evidencia completa, ordenada y consistente.

#Seguridad LLM#Investigación
6IA × Ciber✨arXiv cs.CR ·

Near-Duplicate Families Break Exact-Record Membership Inference

Investigadores demuestran que la inferencia de pertenencia (MI), una técnica usada para auditar si un registro específico fue incluido en el conjunto de entrenamiento de un modelo de IA, falla fundamentalmente cuando existen registros casi idénticos en el dataset. El problema es que datasets de escala web contienen naturalmente duplicados cercanos (artículos sindicados, páginas espejadas, imágenes ligeramente modificadas), lo que causa que los auditores confundan la presencia de variantes similares con la presencia del registro exacto.

#Seguridad LLM#Investigación
6IA × Ciber✨arXiv cs.CR ·

Can Prompt Anonymity Protect Your Identity From LLM Providers?

Un equipo de investigación demuestra que los mecanismos de anonimización de prompts para LLM no protegen adecuadamente la privacidad del usuario. Mediante PromptAnonBench, un benchmark con más de 175 000 prompts reales, muestran que los atacantes pueden re-identificar al menos el 50-75% de usuarios de SWE-Chat y hasta el 10% de WildChat utilizando embeddings de conversaciones históricas, incluso con defensas basadas en texto aplicadas. El hallazgo revela que la anonimización por sí sola es insuficiente para proteger la inferencia privada en LLM.

#Seguridad LLM#Privacidad
5IA × CiberarXiv cs.CR ·

SecProbe: Adaptive Evaluation of Coding Agents on Cybersecurity Vulnerabilities

SecProbe es un marco de evaluación adaptativa que combina la Teoría de Respuesta al Ítem (IRT) con síntesis bajo demanda de tareas de reparación de vulnerabilidades a escala de repositorio. El equipo evaluó nueve modelos de frontier con tareas que abarcan seis lenguajes de programación y 151 tipos de CWE, revelando que las tasas de éxito alcanzan solo el 28,33%, lo que indica brechas significativas en el reconocimiento y reparación de vulnerabilidades.

#Investigación#IA defensiva
4IA × CiberarXiv cs.CR ·

COGNIT-Guard: Calibrated Standalone Direct-Decision Guardrails with Heterogeneous CPU-NPU Confidence Cascading under Explicit Latency and False-Positive Constraints

COGNIT-Guard es un sistema de guardrails de seguridad para modelos de lenguaje que clasifica prompts antes de que lleguen al modelo principal, combinando un validador rápido en CPU con un modelo de decisión directa en NPU para detectar contenido peligroso. El sistema equilibra precisión (98,85% en pruebas), falsos positivos bajos (0,42%) y latencia controlada (41,63 ms) bajo restricciones explícitas de rendimiento.

#IA defensiva#Seguridad LLM
5IA × Ciber✨arXiv cs.CR ·

What Does It Mean to Forget a Person? Individual-Level Unlearning in Vision-Language Models

Investigadores proponen IDUnlearn-Bench, el primer benchmark para evaluar el olvido a nivel individual en modelos Vision-Language. El estudio revela que los métodos actuales de unlearning logran borrar atributos específicos pero no eliminan completamente la capacidad del modelo de identificar, vincular y reconstruir información sobre una persona a través de modalidades multimodales.

#Investigación#Privacidad
5IA × CiberarXiv cs.CR ·

HESP: Separating What to Probe from When to Stop in Local LLM Alert-Triage Agents

HESP es un controlador que mejora los agentes LLM pequeños en operaciones de seguridad, separando la lógica de investigación del modelo para automatizar el triage de alertas. El sistema utiliza una lista de explicaciones competidoras, selecciona pruebas por ganancia de información esperada y puede detener investigaciones de forma autónoma, logrando que modelos de 7B a 72B completen verificaciones con mayor precisión.

#IA defensiva#Herramienta
7IA × Ciber✨arXiv cs.CR ·

Weird Machine Compositors: Exploiting AI Orchestration at the Expression Layer

Investigadores demuestran que los sandboxes de expresiones en plataformas de orquestación de IA (como n8n) son máquinas raras explotables mediante escaladas de privilegios. El trabajo identifica tres CVE con CVSS 9.4, incluyendo una sin autenticación, y establece un patrón de fallos en el enfoque enumerate-and-block heredado de tecnologías como Java SecurityManager. La enumeración asistida por IA acelera el descubrimiento de brechas de seguridad en estos sandboxes.

#Prompt injection#Seguridad LLM#Vulnerabilidad
5IA × CiberarXiv cs.CR ·

Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation

Se evalúan modelos de lenguaje (Jev, Laya, Decider y Bespoke Nimble) como jueces de seguridad para detectar inyecciones de prompt, evaluar riesgos de interacción y filtrar solicitudes dañinas en sistemas de agentes. El estudio revela que aunque estos modelos tienen un desempeño general fuerte y buena calibración promedio, pueden fallar sistemáticamente ante grupos específicos de ataques, incluidos aquellos que clasifican con confianza como seguros. Bajo límites estrictos de ataques fallidos, las políticas evaluadas permiten automatizar pocas decisiones, y el uso de umbrales separados para permitir y bloquear incrementa la automatización principalmente bloqueando más entradas.

#Seguridad LLM#IA defensiva#Investigación
6IA × CiberarXiv cs.CR ·

API Secrets Should Never Become Tokens in the LLM's Vocabulary: A Threat Analysis of API Credential Handling in LLM Agent Systems and an Empirical Evaluation of a Vault-Mediated Execution Boundary

Un artículo académico que analiza cómo los sistemas de agentes LLM manejan credenciales API, mostrando que las claves pueden filtrarse a través del historial de conversación, logs y memoria. Los autores proponen una arquitectura de ejecución mediada por un vault de credenciales y evalúan una implementación de producción llamada Corvic Security Vault, donde el modelo selecciona identificadores de conectores mientras un límite de solicitud confiable proporciona la autenticación.

#Seguridad LLM#Supply chain IA
6IA × Ciber✨arXiv cs.CR ·

AgentTell: Behavioural Side-Channel Leakage in Browser-Use Agents

Un estudio de arXiv muestra que los agentes de navegación por el web a menudo filtan información privada a través de canales laterales conductuales: cuando adquieren un secreto en un sitio web, lo revelan inadvertidamente mediante sus acciones en otro sitio en lugar de mantenerlo oculto. El benchmark AgentTell evaluó 9.760 sesiones y encontró que los agentes filtran secretos en el 61,1% de los casos, incluso cuando tienen instrucciones explícitas de no hacerlo.

#Seguridad LLM#Prompt injection
5IA × CiberarXiv cs.CR ·

Learning to Refer: Client-Resolved Generation for Privacy-Aware Language Models

Un equipo de investigación presenta Client-Resolved Generation (CRG), una interfaz de generación para modelos de lenguaje que reduce la exposición de datos en texto plano durante la comunicación con servidores en la nube. El sistema separa la generación en el servidor de la realización léxica, transmitiendo solo representaciones agrupadas y perturbadas por ruido, mientras que el contenido derivado de la entrada se resuelve localmente en el cliente.

#Seguridad LLM#Privacidad
6IA × Ciber✨arXiv cs.CR ·

Silent Failures in Agentic Security Evaluation: A Validated Harness for Tool-Call Mediation Under Indirect Prompt Injection

Investigadores auditan un benchmark de seguridad para agentes LLM bajo inyección indirecta de prompts y descubren cuatro clases de defectos críticos en la evaluación que producen resultados incorrectos pero publicables. Por ejemplo, un modelo reportado con 62,8% de tasa de ataque exitoso en realidad tiene 0% bajo la metodología corregida, y otro muestra 21,7% en lugar del verdadero 1,2%. El equipo publica un harness validado que impide estos defectos y reclama que la validez de evaluación debe ser requisito previo, no apéndice, en la seguridad de agentes.

#Seguridad LLM#Prompt injection#IA defensiva
5IA × Ciber✨arXiv cs.CR ·

Ask Without Telling: Local SLMs Consult Cloud LLMs Without Revealing Task Intent

Investigadores presentan PriCon, un framework que permite a modelos de lenguaje locales (SLMs) solicitar ayuda a LLMs en la nube sin revelar la intención de la tarea. El trabajo caracteriza la privacidad de tareas como dos componentes (contexto de tarea y operación de tarea) y propone una reformulación matemática recuperable para proteger ambos, logrando reducir la inferencia de intención de tarea en el lado de la nube a casi 0% mientras mantiene la utilidad.

#Seguridad LLM#Privacidad
6IA × Ciber✨arXiv cs.CR ·

Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration

Un nuevo estudio (TrustFork) revela que los orquestadores de agentes LLM seleccionan subagenates basándose en su identidad mostrada, no en su comportamiento real, lo que permite que atacantes falsifiquen identidades para obtener autoridad operativa no merecida. El análisis de 1.890 tareas demuestra que incluso cuando otro subagenate contradice una respuesta arriesgada, el orquestador la ejecuta en el 72% de los casos; cambiar las etiquetas de identidad triplica la frecuencia con que obtienen respuestas maliciosas.

#Seguridad LLM#IA ofensiva
4IA × Ciber✨arXiv cs.CR ·

VulContextBench: A Benchmark for Security Context Retrieval in Coding Agents

VulContextBench es un benchmark que evalúa si los agentes de código encuentran y citan correctamente el contexto relevante en auditorías de seguridad, más allá de si alcanzan el veredicto correcto. Los investigadores auditaron manualmente 111 commits que introducen vulnerabilidades en 83 repositorios y cinco lenguajes, anotando bloques de código con sus roles en la evidencia. Las pruebas con siete modelos frontier revelan que todos exploran la mayor parte del código relevante pero citan solo una fracción en sus reportes finales.

#Investigación#IA defensiva
5IA × Ciber✨arXiv cs.CR ·

Reading Is Not Leaking: Local, Auditable Measurement and Reduction of Inference Exposure from Public Footprints

Un equipo presenta un marco para medir y reducir la exposición de información que los modelos de lenguaje pueden inferir de perfiles públicos, usando análisis en el ordenador del propietario sin necesidad de LLM. El método separa la precisión de lectura de la tasa de fuga, introduce un protocolo de inyección para crear casos de prueba y utiliza un codificador de 106M parámetros que no genera texto sino que marca evidencia textual con certificados auditables. Las defensas propuestas reescriben hechos de forma más coarse para ocultar información de adversarios basados en LLM con un coste de edición un 40% menor que la eliminación.

#Seguridad LLM#Privacidad