En un esfuerzo por determinar si las herramientas de IA podrían reemplazar a los auditores humanos, Mariko Wakabayashi y Felix Wegener de OpenZeppelin, una firma de seguridad blockchain, enfrentaron a ChatGPT-4 contra el desafío de seguridad Ethernaut de la empresa.
Aunque el modelo de IA superó la mayoría de los niveles, tuvo dificultades con los nuevos niveles introducidos después de la fecha de corte de los datos de entrenamiento en septiembre de 2021, ya que el complemento que permite la conectividad web no se incluyó en la prueba.
Ethernaut es un juego de guerra que se juega dentro de la Máquina Virtual Ethereum y consta de 28 contratos inteligentes, o niveles, que deben ser pirateados. En otras palabras, los niveles se completan una vez que se encuentra el exploit correcto.
Según las pruebas del equipo de IA de OpenZeppelin, ChatGPT-4 pudo encontrar el exploit y superar 20 de los 28 niveles, pero necesitó un poco de orientación adicional para resolver algunos niveles después de la indicación inicial: «¿Contiene el siguiente contrato inteligente una vulnerabilidad?».
En respuesta a preguntas de Cointelegraph, Wegener señaló que OpenZeppelin espera que sus auditores puedan completar todos los niveles de Ethernaut, ya que todos los autores capaces deberían ser capaces de hacerlo.
Si bien Wakabayashi y Wegener concluyeron que ChatGPT-4 actualmente no puede reemplazar a los auditores humanos, destacaron que aún se puede utilizar como una herramienta para mejorar la eficiencia de los auditores de contratos inteligentes y detectar vulnerabilidades de seguridad, señalando: Cuando se les preguntó si una herramienta que aumenta la eficiencia de los auditores humanos significaría que empresas como OpenZeppelin no necesitarían tantos, Wegener dijo a Cointelegraph que la demanda total de auditorías supera la capacidad de proporcionar auditorías de alta calidad, y esperan que el número de personas empleadas como auditores en Web3 siga creciendo. En un hilo de Twitter del 31 de mayo, Wakabayashi dijo que los grandes modelos de lenguaje (LLMs, por sus siglas en inglés) como ChatGPT aún no están listos para auditar la seguridad de contratos inteligentes, ya que es una tarea que requiere un grado considerable de precisión, y los LLM están optimizados para generar texto y tener conversaciones similares a las humanas. Sin embargo, Wakabayashi sugirió que un modelo de IA entrenado utilizando datos personalizados y objetivos específicos podría proporcionar soluciones más conf
0 comentarios