Los LLM “alucinan”

Un Large Language Model (LLM) predice la siguiente palabra más probable. Sin embargo, a veces no está seguro sobre cuál es la palabra que debería venir a continuación. En esas ocasiones, llega a suceder que sencillamente genere contenido irrelevante, falso o incongruente con lo que le hemos pedido. Es entonces cuando decimos que los modelos LLM “alucinan”. Simple y llanamente, escriben información incorrecta.

Capacidades asombrosas de los LLM

Primero lo primero. Los LLM son una herramienta de apoyo impresionante para cada creador de contenido. Seas periodista, content marketer, creador o editor de contenidos –entre muchos otros– le podrás sacar enorme provecho.

Basta pensar en las capacidades que distinguen a un LLM:

1. Su escalabilidad. Los LLM están compuestos por gran cantidad de parámetros y capas que detectan y aprenden patrones complejos en los datos de entrenamiento. De esa manera, manejan y generan una amplia variedad de expresiones lingüísticas.
2. Su capacidad para aprender representaciones vectoriales densas de frases y palabras. Para decirlo sencillamente, esas representaciones capturan el significado semántico y contextual de las palabras. Al final, es esto lo que permite que un LLM genere textos coherentes.
3. Su habilidad para contextualizar la generación de textos. Los LLM toman en cuenta el contexto anterior en una conversación o en un fragmento de texto. Esto es lo que les permite producir respuestas o continuaciones coherentes.
4. Su capacidad de generación autorregresiva. Esto significa que un LLM genera una palabra o token a la vez, basándose en las palabras o tokens generados previamente. Es así como crea un texto secuencialmente fluido y coherente.

Todo este milagro deriva en la creación de un texto útil, fruto de su capacidad para procesar el significado y contexto del lenguaje natural.

Y, sin embargo, los LLM ALUCINAN

Al iniciar la escritura de este artículo, preguntamos a ChatGPT…

¿Es cierto que los LLM alucinan?

Su respuesta fue:

No, los LLM como yo no «alucinan» en el sentido humano de la palabra. Los LLM son algoritmos de inteligencia artificial diseñados para procesar y generar texto basado en patrones aprendidos de grandes conjuntos de datos. No experimentamos estados mentales ni percepciones como lo hacen los seres humanos. En cambio, generamos respuestas basadas en las reglas y los datos con los que hemos sido entrenados.

La respuesta –si la pregunta se toma literalmente– no es inexacta, pero desde luego se sentía como si el Chat le estuviera sacando la vuelta al tema. Así que reformulamos la pregunta…

¿Por qué alucinan los LLM?

Entonces la respuesta fue aún menos convincente:

Los modelos de lenguaje a gran escala (LLM), como yo, a menudo son descritos como «alucinantes» debido a su capacidad para generar texto que parece sorprendentemente humano. Esto se debe a que los LLM han sido entrenados con grandes cantidades de datos de texto, lo que les permite entender y generar lenguaje natural de una manera bastante sofisticada.

Ninguna de estas respuestas caminó en la dirección que buscábamos. Y, sin embargo, es un hecho que quienes usan los modelos LLM con relativa frecuencia los han visto que “alucinan” más de una vez.

¿Qué causa una alucinación en tu LLM?

Las alucinaciones de los LLM vienen en todos los tamaños y consisten, simple y llanamente, en escribir información incorrecta.

Una alucinación se produce cuando el modelo parece mentir o arroja información falsa. Es decir, cuando genera texto que no es coherente, relevante o preciso.

Meredith Broussard, profesora asociada del Instituto de Periodismo Arthur L. Clark de NYU, pone un ejemplo: “Un abogado que se preparaba para entablar una demanda solicitó al chat los precedentes relevantes del caso. Al revisar la lista, el juez determinó que todos los casos eran inventados. El chat había mentido”.

Es importante entender que las alucinaciones de los LLM son un riesgo posible. No sólo para considerar sus limitaciones en el presente, sino también para prevenir errores y controlar sus resultados.

Las alucinaciones pueden producirse debido a múltiples factores.

• Sesgos en los datos de entrenamiento. Si sus fuentes de alimentación están sesgadas, el LLM reproducirá prejuicios e ideas preconcebidas, generando un texto plagado de estereotipos e información dudosa.
• Falta de contexto adecuado. Los LLM pueden alucinar cuando no tienen suficiente contexto para generar una respuesta coherente. Si tu solicitud es ambigua, demasiado breve o poco detallada, el modelo puede producir texto que no tiene sentido o está desconectado del contexto.
• Errores de predicción: A pesar de su capacidad para aprender patrones complejos en los datos de entrenamiento, los LLM pueden cometer errores de predicción. Esto se debe a la naturaleza probabilística de estos modelos, o a la presencia de ruido en los datos.
• Extrapolación de patrones: Los LLM pueden generar texto que refleja patrones presentes en los datos de entrenamiento, incluso si esos patrones no son relevantes para tu solicitud. Esto puede llevar a la generación de respuestas que son coherentes en términos de gramática y estilo, pero no tienen sentido en el contexto específico.
• Interpretación errónea de una solicitud. Esto hace que el LLM genere respuestas no relevantes.
• Limitaciones de conocimiento. Los modelos pueden fallar, aunque tengan un vasto conocimiento basado en los datos con los que fueron entrenados. Esto puede deberse a que no tienen acceso a información actualizada o detalles específicos sobre ciertos temas.

Estrategias para perfeccionar el desempeño de tu LLM

Está claro que, cuando hablamos de que los LLM «alucinan», nos referimos a situaciones en las que estos modelos se equivocan: sea generando texto incoherente, irrelevante, falto de contexto o simplemente incorrecto.

La pregunta ahora es: ¿Podríamos evitar que un LLM incurra en esos errores? Aparentemente sí.

Podemos, por ejemplo:

1. Hacer mejores preguntas y llevar de la mano al LLM hacia donde queremos que vaya.

Las alucinaciones, inexactitudes o, incluso, información falsa o equivocada, pueden combatirse cuando se brinda más contexto al modelo. Al proporcionarle información adicional o más detallada, el modelo tendrá una mejor comprensión del contexto y podrá generar respuestas más precisas y relevantes. Al final tendremos un texto más robusto y enfocado para que el editor trabaje sobre él.

Por ejemplo, en lugar de solicitar:

“Escribe un artículo sobre la Inteligencia Artificial”

Podemos echarle una mano, establecer un mejor punto de partida para la conversación y pedirle:

“Escribe un artículo para no expertos donde se expliquen las 10 razones de por qué la Inteligencia Artificial está cambiando la forma de trabajar de los creadores de contenido”.

• Filtrar y corregir el texto.

Este es el primer recurso para detectar y corregir posibles alucinaciones. El segundo, la comparación con fuentes externas de información para verificar la veracidad de los datos generados.

• Realizar una edición y evaluación humanas.

La revisión profesional permite identificar patrones incoherentes o incorrectos. Esta evaluación es vital también para proporcionar retroalimentación que mejore la calidad del resultado final. Es también la oportunidad para que el creador de contenidos aporte su experiencia, toque personal y conocimiento, adaptando el texto a objetivos específicos.

Al final, como afirma Meredith Broussard: “Si bien las predicciones del modelo son tan buenas que parece ‘inteligente’, lo que hay que entender es que los chats no son conscientes, carecen de intención” (y agregaría intuición). No olvidemos que sólo intentan continuar de manera realista la secuencia que les proporcionan”.

Y ahí, en la intención y en la intuición, la experiencia profesional y personal del creador humano está el quid del asunto. Estos ingredientes son aún esenciales para disparar con precisión y alinear contenidos con el espíritu de organizaciones y marcas. Al final, el objetivo es lograr ese feliz encuentro con las necesidades e inquietudes de los públicos objetivo.

ICO Inteligencia Creativa ofrece ventajas y beneficios adicionales en la creación de contenidos. Si sumamos los años de trabajo especializado de nuestro equipo en temas de edición y producción de contenidos alcanzamos alrededor de 200 años de experiencia. Prácticamente todos los integrantes del equipo acumulan una sólida trayectoria editorial en la producción y diseño de: revistas comerciales; revistas y boletines internos empresariales, físicos y digitales, folletos, newsletters digitales especializadas, informes anuales, redes sociales, blogs y publicaciones electrónicas en distintos nichos de especialidad.