Los grandes modelos lingüísticos (Large Lenguage Model) más recientes son aún como niños pequeños. Sin embargo, son de alguna forma mucho más inteligentes que un ser humano promedio. No sólo saben más, sino que tienen una capacidad mucho mayor para procesar y actuar en base a una amplia gama de instrucciones.
Recientemente hemos explorado el potencial de los LLMs para interpretar o generar textos considerando numerosos parámetros con extraordinaria precisión. Hemos demostrado su capacidad para evaluar bloques de texto no estructurados y calificarlos, con éxito, utilizando diferentes escalas. Además, hemos sido capaces de generar contenido específico y personalizado utilizando una serie complejas instrucciones, que a su vez pueden ser ajustadas con precisión al atendiendo al mismo conjunto de escalas.
Estamos entrando en una nueva era de contenido basado en el rendimiento, impulsados a través de los datos, donde podemos transformar los LLMs en plataformas para la producción de contenidos escritos teniendo como base un tablero, que funciona como control de mandos, y donde podemos utilizar diales para ajustar numéricamente los contenidos de marketing óptimos para cada formato.
A continuación, compartimos los hallazgos de nuestros experimentos iniciales, así como una metodología general, con el objetivo de utilizar los LLMs para obtener una medición cuantitativa sobre el rendimiento de los textos, abriendo la puerta al análisis estadístico y la optimización de la creación de contenido.
Source: Analytics Vidhya
Los grandes modelos lingüísticos son perfectos para trazar ideas
Los grandes modelos lingüísticos se construyen utilizando vectores matemáticos. Esta base les permite traducir hábilmente bloques de texto -calificar, puntuar o mapear contenidos- en valores numéricos que captan las cualidades distintivas de cada bloque. Por ejemplo, podemos pedir al modelo que evalúe la parte «técnica» de este blog en una escala del 1 al 10, estando los límites establecidos mediante ejemplos o a través de instrucciones del usuario. Del mismo modo, los LLM pueden invertir esta dirección para generar bloques de texto que correspondan a puntuaciones numéricas de un determinado atributo enviado por un usuario. Por ejemplo, se puede pedir al LLM que escriba una entrada de blog en la que el grado de tecnicidad obtenga una puntuación de 9 sobre 10.
Podemos incluir más conceptos de forma aditiva para construir un espacio conceptual. Esto es lo que llamamos un espacio cartesiano conceptual, al que el LLM puede referirse para la generación de contenido. Podemos trazar un punto en este espacio para definir una idea basándonos en su posición relativa a cada uno de los ejes que definen nuestro espacio.
Fuente: https://serokell.io/blog/language-models-behind-chatgpt
Experimentos y resultados
Hemos llevado a cabo una serie de experimentos para validar la eficacia y flexibilidad del mapeo cartesiano conceptual mediante LLM. Para validar nuestra metodología, adoptamos un enfoque «de abajo arriba», empezando con experimentos básicos y aumentando la complejidad en cada paso.
- Experimento de gradientes
Este experimento explora la capacidad del LLM para escalar contenidos a lo largo de gradientes lineales, proporcionando a los usuarios control en la generación o evaluación de textos. Examinamos diferentes rangos de escala (1-10 y 1-100) y demostramos la adherencia del modelo a marcos de puntuación específicos. Los resultados confirman la capacidad del modelo para seguir metódicamente los gradientes elegidos.
- Experimento sobre métodos de puntuación alternativos
En este experimento, probamos la influencia de métodos de puntuación alternativos en la producción de texto. El LLM recibe instrucciones para aplicar varios marcos de puntuación, lo que demuestra la adaptabilidad del modelo. Elabora con éxito respuestas basadas en reglas específicas, lo que indica el potencial de personalización de los LLM para diversas aplicaciones. Incluso utilizamos un marco psicológico respetado para calificar (o diagnosticar) puntuaciones de empatía para un bloque de contenido.
- Experimento espacial multidimensional
Este experimento profundiza en el rendimiento del modelo en espacios multidimensionales. El estudio introduce conceptos como practicidad y tecnicidad como ejes adicionales, ilustrando la capacidad del LLM para manejar ideas complejas y múltiples dimensiones con eficacia. Los resultados indican la agilidad del modelo para navegar por intrincados espacios multidimensionales.
- Experimento espacial relativo no especificado
Este experimento explora la capacidad del LLM para analizar cuantitativamente ideas en relación con otras ideas, no gradientes a lo largo de un único eje. Una importante aplicación práctica para los profesionales del marketing es el posicionamiento del contenido en relación con los competidores; utilizamos el LLM para generar una política de vivienda para un candidato ficticio a la alcaldía que se posiciona cuantitativamente en relación con varios candidatos existentes.
Nuestro estudio demostró la capacidad de este modelo para manejar tareas de generación de contenidos abiertos con precisión cuantitativa, mostrando su potencial en entornos en los que las ideas carecen de marcos predefinidos estrictos.
Adjuntar métricas de rendimiento estándar
Si vinculamos la posición cartesiana conceptual de los contenidos con las métricas tradicionales, podemos analizar el rendimiento de los contenidos publicados frente a los nuevos valores numéricos disponibles. Por ejemplo, podemos estudiar las publicaciones en las redes sociales (es decir, los «me gusta», los «compartidos», las tasas de clics) frente a las puntuaciones conceptuales asignadas por el modelo a atributos como el humor, la empatía y el tecnicismo. Mediante el análisis estadístico, podemos identificar la combinación óptima de cada atributo conceptual para un contexto determinado y utilizar esa posición coordinada para generar nuevos contenidos que mejoren el rendimiento.
La innovadora combinación de la cartografía cartesiana conceptual y los LLM nos proporciona un enfoque nuevo, metódico y preciso de la creación de contenidos generales.
Las empresas pueden adaptar sus mensajes con precisión, garantizando el máximo compromiso con su público objetivo y posicionando sus contenidos frente a los de la competencia. Las campañas políticas pueden elaborar narrativas matizadas en relación con otros candidatos o con los resultados de las encuestas. Las instituciones educativas pueden crear materiales didácticos personalizados que mejoren el compromiso y la comprensión de los estudiantes a nivel individual.
¿Quieres estar preparado para este futuro? ¡Contacta con un estratega de DAC!
