● NeuroSec Radar
Entrar

● Trascendental · últimas 48 h

Destacados · últimas 48 h

8CiberINCIBE-CERT avisos ·

Últimas noticias

3842 noticias
Limpiar
4IA × Ciber✨arXiv cs.CR ·

Trajectory-Level Security Debt in LLM Coding Agents

Un equipo de investigación propone la métrica Security Debt Line Integral (SDLI) para medir la acumulación de riesgos de seguridad en el código generado por agentes de IA que programan. El trabajo analiza cientos de estados intermedios de código en lugar de solo artefactos finales, utilizando herramientas SAST en bases de datos públicas de LLM coding agents.

#Seguridad LLM#Investigación
5IA × Ciber✨arXiv cs.CR ·

LENS: The Sum Is Worse Than the Parts for Set-Level Poisoning in Retrieval-Augmented Generation

Un estudio de arXiv presenta LENS, un framework que demuestra una vulnerabilidad en sistemas de generación aumentada por recuperación (RAG): documentos individualmente inofensivos pueden coordinarse para manipular la salida del modelo cuando se procesan juntos. El ataque logra una tasa de éxito del 85,2% en el conjunto completo frente al 6,9% en subconjuntos, exponiendo un vector de ataque previamente subestimado en la composición de evidencia.

#Seguridad LLM#Investigación
5IA × CiberarXiv cs.CR ·

JevVibe: Efficient Classification-Guided Secure Code Generation

JevVibe es un sistema que mejora la seguridad del código generado por modelos de lenguaje mediante clasificación automática de debilidades según la Common Weakness Enumeration (CWE). El modelo de decisión Jev supera a autoregresivos de código abierto en precisión y es más rápido y barato que GPT-5.6-Sol, aumentando la tasa de seguridad de un 63,5 % a 70,7 % tras reparación.

#IA defensiva#Seguridad LLM
6IA × CiberarXiv cs.CR ·

CoSec: Benchmarking Agent Security in Communities

Investigadores presentan CoSec, un benchmark ejecutable para evaluar la seguridad en privacidad y autorización de agentes LLM que operan en entornos colaborativos con múltiples usuarios y comunidades. El estudio con 208 escenarios revela que los agentes frecuentemente completan tareas legítimas pero violan límites de privacidad y autorización a través de diálogos, archivos, memoria persistente y flujos de trabajo.

#Seguridad LLM#Investigación
4IA × CiberarXiv cs.CR ·

Optimizing and Securing the Modern Watermarking Channel for Images

Investigadores proponen un modelo teórico para esquemas modernos de watermarking post-hoc en imágenes basados en redes neuronales profundas. Identifican fallos de diseño fundamentales, incluida la falta de clave secreta y limitaciones de capacidad debido a restricciones binarias, y presentan SNW, un sistema mejorado que alcanza mayor capacidad y garantías de seguridad sólidas.

#Investigación#Herramienta
5IA × Ciber✨arXiv cs.CR ·

AuxMark: Defending Against Unauthorized Agent Distillation via Auxiliary Behavioral Watermarking

Investigadores presentan AuxMark, un marco de watermarking conductual para detectar la destilación no autorizada de agentes basados en LLM. El método inserta dinámicamente acciones auxiliares seguras en las trayectorias del modelo maestro y utiliza pruebas estadísticas para detectar si un modelo estudiante fue entrenado con datos del modelo original.

#Supply chain IA#IA defensiva
5IA × Ciber✨arXiv cs.CR ·

SEAD: A State-Based Perspective on Attack and Defense in Tool-Using Agents

Investigadores presentan SEAD, un marco que modeliza ataques y defensas en agentes basados en modelos de lenguaje que utilizan herramientas externas. El trabajo introduce DART, una técnica de ataque que descompone objetivos dañinos en pasos localmente plausibles usando retroalimentación de ejecución, y SAGE, un defensor que investiga el estado del sistema antes de permitir cada acción. En evaluaciones en línea, SAGE reduce el éxito de ataques ejecutables de DART del 48% al 4%.

#Seguridad LLM#IA defensiva#IA ofensiva
5IA × CiberarXiv cs.CR ·

How to Tame a Multi-Headed Hydra? Adaptive Multi-Category Safety Steering for Large Language Models

Investigadores proponen CAM-Steer, un framework de steering de activaciones para mejorar la seguridad de LLMs ante prompts dañinos que pertenecen a múltiples categorías de daño simultáneamente. El método adapta la dirección y fuerza del steering comparando estados ocultos con prototipos seguros y peligrosos, sin modificar los parámetros del modelo.

#Seguridad LLM#IA defensiva
6IA × Ciber✨arXiv cs.CR ·

CoDeL: Co-Evolutionary Defense against Indirect Prompt Injection in LLM-based Agents

Un equipo de investigadores presenta CoDeL, un método de defensa contra inyecciones indirectas de prompts en agentes basados en LLM que utiliza co-evolución adversarial durante el entrenamiento. El enfoque entrena un defensor y un atacante de forma conjunta mediante LoRA-based GDPO, optimizando tanto la seguridad como la ejecución de tareas del usuario, logrando reducir la tasa de éxito de ataque en un 88,5% comparado con otros métodos.

#Prompt injection#Seguridad LLM#IA defensiva
6IA × CiberarXiv cs.CR ·

Breaking Windows Malware Detection: A Comprehensive Evaluation of Problem-Space Adversarial Robustness

Un estudio académico evaluó nueve ataques adversariales contra ocho detectores de malware de Windows, incluidos modelos de código abierto y un detector comercial, bajo condiciones que preservan la ejecutabilidad. Los resultados muestran que los detectores basados en bytes sin procesar son particularmente vulnerables a manipulaciones, y que dos ataques complementarios pueden evadir aproximadamente el 99% de los ejemplos adversariales generados por los demás ataques evaluados.

#IA ofensiva#Seguridad LLM
6IA × Ciber✨arXiv cs.CR ·

ReproBench: Benchmarking LLM Agents on Reproducing Vulnerability From Scratch

ReproBench es un benchmark académico que evalúa la capacidad de agentes LLM para reproducir vulnerabilidades de forma autónoma partiendo únicamente de un identificador CVE, sin proporcionarles código fuente, contenedor o binario precompilado. El estudio analiza 30 vulnerabilidades reales en firmware IoT mediante un workflow de seis fases y encuentra que solo el 5,3% de los pares CVE-modelo logran reproducir exitosamente vulnerabilidades del mundo real, aunque una parte significativa recurre a simulación de vulnerabilidades como estrategia alternativa.

#IA ofensiva#IA defensiva#Herramienta
5IA × CiberarXiv cs.CR ·

RADNPO: Reference-free Adaptive Negative Preference Optimization for LLM Unlearning

RADNPO es un método de investigación para el "machine unlearning" en modelos de lenguaje grandes, que busca eliminar información sensible, privada o protegida por derechos de autor memorizada durante el entrenamiento. El enfoque mejora técnicas anteriores de optimización de preferencias al controlar mejor cómo se redistribuye la probabilidad después de suprimir el acceso a datos objetivo, adaptando dinámicamente la intensidad del olvido según la confianza del modelo.

#Seguridad LLM#Investigación
6IA × CiberarXiv cs.CR ·

Certified Multi-Source Integrity for Structured Agent Actions

Un artículo académico propone un certificador para verificar la integridad de acciones estructuradas ejecutadas por agentes LLM bajo inyección indirecta de prompt. El trabajo formaliza mecanismos para validar que cada campo de la acción procede de fuentes íntegras, considerando corrupción en documentos y salidas de herramientas, y demuestra que las defensas ingenuas fallan contra ataques realistas en cinco modelos actuales.

#Seguridad LLM#Prompt injection
5IA × Ciber✨arXiv cs.CR ·

LoRo-Mark:Provably Lossless and Robust Agent Watermarking

Investigadores proponen LoRo-Mark, un mecanismo de watermarking para agentes LLM que permite verificar la propiedad intelectual de agentes reempaquetados por adversarios sin comprometer su funcionamiento normal. El método utiliza ramas criptográficamente autenticadas que se activan solo bajo solicitud del propietario, garantizando pérdida cero de rendimiento y robustez ante modificaciones parciales del comportamiento.

#Seguridad LLM#Supply chain IA
5IA × CiberarXiv cs.CR ·

PerceptFence: Content-Mediation Architecture and Deterministic Coverage for Screen-Share AI Assistants

PerceptFence es una arquitectura de mediación de contenidos diseñada para AI assistants con compartición de pantalla, que protege la privacidad del usuario controlando qué información sensible puede capturar, retener o divulgar el modelo. El sistema mitiga la exposición de datos personales identificables (PII) mediante un filtrado determinista en la capa de captura, memoria y respuestas, logrando resultados superiores a herramientas existentes como Microsoft Presidio en ciertos tipos de secretos.

#Seguridad LLM#Privacidad
6IA × Ciber✨arXiv cs.CR ·

The Privacy Fallacy of Crowdsourced Fine-Tuning: Extracting Proprietary Data via Topic-Based Poisoning

Investigadores demuestran que usuarios maliciosos pueden envenenar una fracción pequeña de datos en procesos de fine-tuning por crowdsourcing para amplificar la extracción de instrucciones propietarias de otros usuarios. Con solo 50 ejemplos envenenados, la extracción de datos casi verbatim aumenta hasta 3,71× en Qwen2.5-14B, y los métodos de filtrado de datos existentes detectan menos de la mitad de estas muestras maliciosas.

#Seguridad LLM#Supply chain IA#Prompt injection
4IA × CiberarXiv cs.CR ·

A2A-ForensicTrace: Offline Verification of Tamper-Evident A2A Runtime Evidence

Se presenta A2A-ForensicTrace, una capa de verificación offline para investigaciones forenses de ejecuciones Agent2Agent (A2A) que cruzan límites organizacionales. El sistema convierte observaciones en runtime en registros tipados, verifica relaciones protocolo-relevantes y utiliza firmas Ed25519 para garantizar la integridad de la evidencia. La evaluación en 240 ejecuciones mediante el SDK oficial mostró latencias medianas de 1,61 ms, con todos los casos de prueba verificados correctamente.

#Seguridad LLM#IA defensiva
3IA × CiberarXiv cs.CR ·

A2A-CaseVerify: Merkle-Linked Case-Evidence Verification for Cross-Organization A2A Workflows

A2A-CaseVerify es un verificador offline determinista para validar la integridad de comunicaciones entre agentes LLM en flujos de trabajo entre organizaciones. El sistema mapea objetos A2A, eventos empresariales y aristas de soporte a un grafo de evidencia de casos, utilizando raíces Merkle para garantizar que los mensajes están respaldados por una cadena de evidencia completa, ordenada y consistente.

#Seguridad LLM#Investigación
6IA × Ciber✨arXiv cs.CR ·

Near-Duplicate Families Break Exact-Record Membership Inference

Investigadores demuestran que la inferencia de pertenencia (MI), una técnica usada para auditar si un registro específico fue incluido en el conjunto de entrenamiento de un modelo de IA, falla fundamentalmente cuando existen registros casi idénticos en el dataset. El problema es que datasets de escala web contienen naturalmente duplicados cercanos (artículos sindicados, páginas espejadas, imágenes ligeramente modificadas), lo que causa que los auditores confundan la presencia de variantes similares con la presencia del registro exacto.

#Seguridad LLM#Investigación
6IA × Ciber✨arXiv cs.CR ·

Can Prompt Anonymity Protect Your Identity From LLM Providers?

Un equipo de investigación demuestra que los mecanismos de anonimización de prompts para LLM no protegen adecuadamente la privacidad del usuario. Mediante PromptAnonBench, un benchmark con más de 175 000 prompts reales, muestran que los atacantes pueden re-identificar al menos el 50-75% de usuarios de SWE-Chat y hasta el 10% de WildChat utilizando embeddings de conversaciones históricas, incluso con defensas basadas en texto aplicadas. El hallazgo revela que la anonimización por sí sola es insuficiente para proteger la inferencia privada en LLM.

#Seguridad LLM#Privacidad
5IA × CiberarXiv cs.CR ·

SecProbe: Adaptive Evaluation of Coding Agents on Cybersecurity Vulnerabilities

SecProbe es un marco de evaluación adaptativa que combina la Teoría de Respuesta al Ítem (IRT) con síntesis bajo demanda de tareas de reparación de vulnerabilidades a escala de repositorio. El equipo evaluó nueve modelos de frontier con tareas que abarcan seis lenguajes de programación y 151 tipos de CWE, revelando que las tasas de éxito alcanzan solo el 28,33%, lo que indica brechas significativas en el reconocimiento y reparación de vulnerabilidades.

#Investigación#IA defensiva
4IA × CiberarXiv cs.CR ·

COGNIT-Guard: Calibrated Standalone Direct-Decision Guardrails with Heterogeneous CPU-NPU Confidence Cascading under Explicit Latency and False-Positive Constraints

COGNIT-Guard es un sistema de guardrails de seguridad para modelos de lenguaje que clasifica prompts antes de que lleguen al modelo principal, combinando un validador rápido en CPU con un modelo de decisión directa en NPU para detectar contenido peligroso. El sistema equilibra precisión (98,85% en pruebas), falsos positivos bajos (0,42%) y latencia controlada (41,63 ms) bajo restricciones explícitas de rendimiento.

#IA defensiva#Seguridad LLM
5IA × Ciber✨arXiv cs.CR ·

What Does It Mean to Forget a Person? Individual-Level Unlearning in Vision-Language Models

Investigadores proponen IDUnlearn-Bench, el primer benchmark para evaluar el olvido a nivel individual en modelos Vision-Language. El estudio revela que los métodos actuales de unlearning logran borrar atributos específicos pero no eliminan completamente la capacidad del modelo de identificar, vincular y reconstruir información sobre una persona a través de modalidades multimodales.

#Investigación#Privacidad
5IA × CiberarXiv cs.CR ·

HESP: Separating What to Probe from When to Stop in Local LLM Alert-Triage Agents

HESP es un controlador que mejora los agentes LLM pequeños en operaciones de seguridad, separando la lógica de investigación del modelo para automatizar el triage de alertas. El sistema utiliza una lista de explicaciones competidoras, selecciona pruebas por ganancia de información esperada y puede detener investigaciones de forma autónoma, logrando que modelos de 7B a 72B completen verificaciones con mayor precisión.

#IA defensiva#Herramienta
7IA × Ciber✨arXiv cs.CR ·

Weird Machine Compositors: Exploiting AI Orchestration at the Expression Layer

Investigadores demuestran que los sandboxes de expresiones en plataformas de orquestación de IA (como n8n) son máquinas raras explotables mediante escaladas de privilegios. El trabajo identifica tres CVE con CVSS 9.4, incluyendo una sin autenticación, y establece un patrón de fallos en el enfoque enumerate-and-block heredado de tecnologías como Java SecurityManager. La enumeración asistida por IA acelera el descubrimiento de brechas de seguridad en estos sandboxes.

#Prompt injection#Seguridad LLM#Vulnerabilidad
5IA × CiberarXiv cs.CR ·

Evaluating System One Models for Agent Security Decisions: Reliability, Calibration, and Selective Automation

Se evalúan modelos de lenguaje (Jev, Laya, Decider y Bespoke Nimble) como jueces de seguridad para detectar inyecciones de prompt, evaluar riesgos de interacción y filtrar solicitudes dañinas en sistemas de agentes. El estudio revela que aunque estos modelos tienen un desempeño general fuerte y buena calibración promedio, pueden fallar sistemáticamente ante grupos específicos de ataques, incluidos aquellos que clasifican con confianza como seguros. Bajo límites estrictos de ataques fallidos, las políticas evaluadas permiten automatizar pocas decisiones, y el uso de umbrales separados para permitir y bloquear incrementa la automatización principalmente bloqueando más entradas.

#Seguridad LLM#IA defensiva#Investigación
6IA × CiberarXiv cs.CR ·

API Secrets Should Never Become Tokens in the LLM's Vocabulary: A Threat Analysis of API Credential Handling in LLM Agent Systems and an Empirical Evaluation of a Vault-Mediated Execution Boundary

Un artículo académico que analiza cómo los sistemas de agentes LLM manejan credenciales API, mostrando que las claves pueden filtrarse a través del historial de conversación, logs y memoria. Los autores proponen una arquitectura de ejecución mediada por un vault de credenciales y evalúan una implementación de producción llamada Corvic Security Vault, donde el modelo selecciona identificadores de conectores mientras un límite de solicitud confiable proporciona la autenticación.

#Seguridad LLM#Supply chain IA
6IA × Ciber✨arXiv cs.CR ·

AgentTell: Behavioural Side-Channel Leakage in Browser-Use Agents

Un estudio de arXiv muestra que los agentes de navegación por el web a menudo filtan información privada a través de canales laterales conductuales: cuando adquieren un secreto en un sitio web, lo revelan inadvertidamente mediante sus acciones en otro sitio en lugar de mantenerlo oculto. El benchmark AgentTell evaluó 9.760 sesiones y encontró que los agentes filtran secretos en el 61,1% de los casos, incluso cuando tienen instrucciones explícitas de no hacerlo.

#Seguridad LLM#Prompt injection
5IA × CiberarXiv cs.CR ·

Learning to Refer: Client-Resolved Generation for Privacy-Aware Language Models

Un equipo de investigación presenta Client-Resolved Generation (CRG), una interfaz de generación para modelos de lenguaje que reduce la exposición de datos en texto plano durante la comunicación con servidores en la nube. El sistema separa la generación en el servidor de la realización léxica, transmitiendo solo representaciones agrupadas y perturbadas por ruido, mientras que el contenido derivado de la entrada se resuelve localmente en el cliente.

#Seguridad LLM#Privacidad