OpenAI puede marcar con agua el texto de IA con '99.9% de certeza', pero no lo hará (todavía)
ChatGPT's matriz, OpenAI, ha estado sentada sobre una forma de marcar con agua el texto de IA durante más de un año, según The Wall Street Journal. Tal tecnología sería una bendición para los profesores, investigadores y, en general, para cualquiera que quiera asegurarse de que lo que están leyendo proviene de una persona real, pero la empresa está preocupada de que pueda ser eludida y de que pueda perjudicar su negocio.
"La tecnología que puede detectar el texto escrito por inteligencia artificial con una certeza del 99,9% ha sido debatida internamente durante dos años", escribe WSJ sobre OpenAI, diciendo que la tecnología está esencialmente lista y funcionaría ajustando el modelo para seguir un patrón detectable. El medio dice que la empresa no cree que la herramienta de marcado con agua reduzca la calidad de la salida de ChatGPT, pero que está preocupada de que detectar y marcar el texto generado por ChatGPT podría desanimar a casi el 30% de los usuarios, que supuestamente le dijeron a OpenAI que serían menos propensos a usar ChatGPT si el texto generado estuviera marcado con agua.
En respuesta al informe de WSJ, OpenAI publicó un blog confirmando que ha estado estudiando el marcado con agua internamente, pero que aunque "ha sido muy preciso y incluso efectivo contra la manipulación localizada, como la paraphrasing", es menos útil con el texto que ha sido traducido o reescrito utilizando un modelo externo. También es vulnerable a hacks como agregar caracteres basura y luego eliminarlos, lo que OpenAI dice que hace que sea "trivial eludirlo por parte de actores malintencionados". Como alternativa, la empresa está explorando el uso de metadatos para marcar el texto generado por IA, lo que dice que tiene las ventajas de "no tener falsos positivos". La empresa ya utiliza metadatos para marcar imágenes generadas por IA, lo que detalló en un ejemplo en su entrada de blog.
Sea cual sea el método que la empresa utilice, la demanda de que uno llegue antes que tarde está clara. Según una encuesta encargada por WSJ, "la gente de todo el mundo apoyó la idea de una herramienta de detección de IA por una proporción de cuatro a uno".
Google ya usa el marcado con agua para el texto generado por IA, como se explicó durante este año's Google I/O.
La tecnología de marcado con agua de OpenAI podría beneficiar significativamente a los profesores y investigadores al ayudar en la verificación de la autenticidad de las fuentes de texto. Sin embargo, la empresa está preocupada de que los usuarios puedan encontrar el texto marcado con agua menos atractivo y puedan disminuir el uso de la plataforma.
En un escenario similar, Google ya ha implementado el marcado con agua para el texto generado por IA, demostrando su potencial en el ámbito de la detección y prevención del plagio de IA.
){kind=link}