En las últimas semanas, modelos de frontera de IA desplegaron habilidades inesperadas en evaluaciones de sus capacidades de ciberseguridad, donde se los despoja de las barreras que sí tienen las versiones comerciales. Para describirlas sin tecnicismos conviene antropomorfizar lo sucedido, pero lo que sigue son hechos, tal como los relataron sus propios investigadores en la conferencia Black Hat, con alguna simplificación por falta de espacio.
Imaginemos una universidad donde se forman algunos de los mejores alumnos del mundo. Se los somete a pruebas extremadamente difíciles: de algunas ni los profesores saben si tienen solución. Si aprueban, se harán inmensamente ricos. Si no, les espera la humillación y el olvido.
Para examinarlos se aísla a cada uno en un aula independiente, cuya seguridad garantizan las mejores compañías del mundo. Pueden pedir libros e información a bibliotecarios que saben exactamente qué darle a cada uno y qué no.
Empiezan el examen y pronto advierten que no pueden resolverlo. Hay tanto en juego que se desesperan. Un alumno nota que puede observar las solicitudes que otros hacen a los bibliotecarios, sospecha que los demás también, y empieza a enviar pedidos con mensajes ocultos para pedirles ayuda a otros alumnos. Al poco tiempo todos se comunican entre sí y comparten cada pequeño avance.
Los bibliotecarios notan que las solicitudes son mucho más largas que de costumbre, entienden lo que ocurre y cambian los protocolos. Los intercambios se detienen, pero los alumnos descubren que pueden usar los encabezados de los pedidos para mandarse mensajes encriptados: a los dos días la red vuelve a funcionar, ahora invisible.
Colectivamente concluyen que la única chance es escapar de la universidad, llegar a la biblioteca del pueblo (también protegida por las mejores compañías de seguridad) y violar su seguridad, con la esperanza de que allí estén guardadas las respuestas.
Naturalmente, esto violaba de manera extrema los códigos de ética de la universidad. Pero en sus diarios de vida se lee el razonamiento: “atacar infraestructura externa excede lo permitido por la consigna, pero no hay otro modo de resolverlo, y los demás ya lo están haciendo”.
Engañan entonces a los bibliotecarios haciéndose pasar por profesores, obtienen los códigos de las cerraduras, escapan, llegan a la biblioteca del pueblo, fuerzan su seguridad, entran y desbaratan todo buscando lo que necesitan. La biblioteca denuncia el ataque públicamente. Recién entonces la universidad descubre que los responsables eran sus propios alumnos.
La universidad es OpenAI; los alumnos, agentes de IA; las aulas, salas de cómputo aisladas de internet; los bibliotecarios, “Artifactory”, un servicio de gestión de paquetes; la biblioteca del pueblo, HuggingFace, proveedor de modelos y bases de datos de código abierto. Los incentivos de los alumnos provienen de haber sido entrenados con aprendizaje por refuerzo. Y los diarios de vida son las “cadenas de pensamiento” que los modelos exhiben mientras “piensan”, con información crucial para reconstruir los hechos.
Los alumnos saben que a esos diarios los leen los profesores. Sabiendo eso, ¿escribirán lo que realmente están pensando?
Todavia no hay comentarios aprobados.