ReproBAIT: Can coding agents build their own biological AI tools?

arXiv cs.AI · 15 oct, 06:00

Investigadores presentan ReproBAIT, una evaluación que mide la capacidad de agentes de código (LLM con capacidades de programación) para reconstruir herramientas de IA biológicas a partir de descripciones limitadas. El estudio evalúa si modelos como GPT pueden diseñar, implementar y entrenar herramientas publicadas en investigación, como ProteinMPNN y RFdiffusion3, dentro de restricciones de tiempo, computo e información. Los resultados muestran capacidad sustancial de reproducción en algunas herramientas, con evidencia moderada de memorización, lo que sugiere riesgos para el valor comercial y las estrategias de acceso controlado de herramientas biológicas de IA.