Desde que era niño, mis padres me enseñaron que pedir las cosas con un “por favor”, y agradecerlas después, eran unas mínimas e imprescindibles reglas sociales que, en primer lugar, son gratis, en segundo, provocan siempre un ánimo positivo en quien las recibe y, en tercero, acabarían redundando a mi favor. Y, sorprendentemente, esta simple regla social podría funcionar también con los chatbots de inteligencia artificial.
Diseñados para mimetizar la forma de pensar de los seres humanos, los modelos de lenguaje grandes también se han alimentado con información generada por los mismos seres humanos que, en general, pone énfasis en las buenas maneras, así como el protocolo y la etiqueta social. ¿Tiene ello influencia en su posterior rendimiento?
En la Universidad de Waseda (Tokio, Japón) se preguntaron esto mismo y decidieron realizar un estudio sobre el tema, que hicieron con pruebas en tres lenguas: inglés, japonés y chino. La conclusión es que, efectivamente, los buenos modales en la redacción del prompt permiten mejorar el rendimiento del modelo de lenguaje para darnos una mejor respuesta.
En la investigación, se analizaron los efectos de distintos niveles de cortesía en prompts escritos en inglés, chino y japonés, y se observaron variaciones en la calidad de las respuestas generadas por los modelos en función de la forma en que estaban redactados los mensajes de entrada.
Los investigadores comprobaron cómo los prompts considerados como "descorteses" tienden a provocar una menor precisión en las respuestas, con una mayor incidencia de errores, sesgos y omisiones de información. Sin embargo, los resultados también revelaron que un lenguaje excesivamente formal o respetuoso no necesariamente garantiza una mejor respuesta. En general, la investigación sugiere que el nivel de cortesía óptimo varía según el idioma y que los LLMs pueden estar reflejando normas culturales específicas de cada uno.
Para evaluar estos efectos, el equipo diseñó ocho niveles de cortesía en los prompts y los aplicó a tareas de resumen, comprensión de lenguaje y detección de sesgos estereotípicos en los tres idiomas.
Los resultados mostraron que los modelos GPT-3.5 y GPT-4 en inglés lograron su mejor rendimiento con prompts muy educados, pero sin llegar a ser excesivamente formales. En el caso del modelo de lenguaje japonés Swallow-70B, se observó una mayor sensibilidad a las sutilezas de la cortesía, probablemente debido a la complejidad del sistema de cortesía en el idioma japonés.
Por su parte, el modelo ChatGLM3, especializado en chino, mostró que sólo los niveles de cortesía extremadamente altos o bajos afectaban el rendimiento, reflejando una menor sensibilidad a las variaciones intermedias en el tono de los prompts en la cultura china.
Una de las principales conclusiones de este estudio es que se hace necesario considerar factores culturales en la ingeniería de prompts al utilizar modelos de lenguaje en contextos multilingües. También subraya la importancia de ajustar los niveles de cortesía en los mensajes de entrada para mejorar la precisión de los LLMs y reducir posibles sesgos en su rendimiento.
En resumen, podemos afirmar sin mucho temor a equivocarnos, y dando la razón a aquellos que afirman que con un “por favor” y un “gracias” se llega lejos, que si somos educados con la IA, ella nos dará lo mejor de sí.
Podemos encontrar el estudio completo aquí.
