El blog de DAC

Esta semana leí el artículo de Jon Morra en AdExchanger, Jon Morra’s AdExchanger piece, “Marketers, The Free Token Lunch Is Over. Is Your Stack Ready?”, y no he dejado de darle vueltas. Puso un nombre ingenioso a una conversación que ya surge casi a diario en nuestro sector: la verdadera economía de la IA por fin empieza a reflejarse en la factura. Su argumento es sencillo. El hábito de enviar cada tarea al modelo más grande disponible nunca iba a sobrevivir al uso a escala empresarial. Para los responsables de marketing, esto debería ser clarificador, no alarmante. Nos obliga a entender qué estamos comprando y a tomar mejores decisiones sobre dónde aportan realmente valor estos sistemas. Mi experiencia combina tres ámbitos que considero cada vez más conectados: tecnología, analítica y operaciones de agencia. Así que puedo ver como todo esto impacta en el día a día del marketing y en decisiones muy concretas sobre calidad, velocidad, riesgo y rentabilidad. Desde ese punto de vista, las organizaciones que lo hagan bien serán las que sepan elegir la solución adecuada para cada tarea. Los objetivos de gasto, por sí solos, dicen poco: la clave está en encontrar el equilibrio entre capacidad, calidad y coste en función del trabajo que haya que realizar. . El mensaje contradictorio de la adopción de la IA La mayoría de las organizaciones transmiten dos mensajes a la vez. El primero: “todo el mundo debería usar IA, todos los días, para todo”. El segundo: “por favor, dejad de malgastar tokens”. Ambos son razonables, pero juntos pueden resultar desconcertantes. Los equipos necesitan suficiente contexto para conciliarlos. Una tarea sencilla de clasificación o un primer borrador pueden funcionar perfectamente con un modelo ligero. El trabajo que exige razonamiento complejo, conocimiento profundo del dominio o una tolerancia al error muy baja puede justificar sistemas más capaces y más caros. Lo difícil es saber en qué situación estamos. Los modelos de razonamiento pueden consumir una cantidad considerable de tokens internos antes de producir una respuesta visible, y el consumo puede variar mucho entre modelos y configuraciones. Cuando las personas entienden ese equilibrio, suelen tomar mejores decisiones. Pueden decidir cuándo un modelo más potente aporta una mejora material y cuándo simplemente añade coste. Tratar el coste de consumo como un secreto financiero, o mostrarlo solo cuando una factura sorprende a alguien, deja a los equipos sin la información que necesitan. La transparencia favorece al mismo tiempo la adopción y la eficiencia. Ya hemos visto esta película La transición de un acceso generoso con tarifa plana a precios de consumo más visibles era previsible. Los precios iniciales redujeron el coste de experimentar, lo que ayudó al mercado a avanzar rápido. A escala, tanto los proveedores como los compradores empresariales necesitan una relación más estrecha entre uso y coste. Para quienes tenemos cierta edad, el momento resulta familiar. Muchos recordamos vigilar los minutos del móvil y esperar con el dedo sobre el botón de llamada hasta las 18:01 (quien lo vivió, lo sabe). El modelo de precios nos enseñó a tratar los minutos de llamada como un recurso escaso. La competencia, la capacidad y una economía más favorable acabaron haciendo desaparecer esa ansiedad para la mayoría. La computación de IA puede seguir una trayectoria similar. Seguimos en la fase de «vigilar los minutos», y los presupuestos se llevan sorpresas cuando los equipos actúan como si no fuera así. Los costes unitarios pueden seguir bajando, pero el uso suele crecer más deprisa que la caída del precio por token. Más casos de uso, contextos más largos, razonamiento adicional, reintentos y flujos de trabajo con agentes pueden absorber fácilmente el ahorro. El punto más útil de Morra es la idea de coste por respuesta válida (cost-of-pass): el coste esperado de obtener una respuesta aceptable. El precio por token es solo uno de los componentes. Un cálculo útil también incluye reintentos, latencia, revisión humana y el coste de un fallo. Este enfoque convierte el enrutamiento de modelos en una disciplina operativa con implicaciones directas para la calidad, el margen y el riesgo. Vuelve la conversación sobre precio y valor Aquí es donde el asunto afecta más directamente a las agencias y, en general, al trabajo intelectual. El trabajo asistido por IA puede requerir menos horas humanas, y los clientes deberían participar de las ganancias reales de eficiencia. Al mismo tiempo, esas horas ahora pueden contener análisis más profundos, mayor cobertura, iteraciones más rápidas y trabajos que hace unos años no eran viables a un precio razonable. Hay menos horas; cabe más dentro de ellas. La estructura de costes también está cambiando. Detrás de un entregable asistido por IA hay computación, herramientas, orquestación, gobernanza, evaluación y el talento sénior necesario para dirigir el trabajo de forma responsable. Esos costes no aumentarán de forma uniforme, y la experiencia humana seguirá siendo la partida más importante en muchos proyectos. Aun así, «lo hizo el modelo» es un mal indicador tanto del coste del trabajo como del valor del resultado. Una conversación comercial más saludable empieza por los resultados, los niveles de servicio y el riesgo. Deberíamos estar dispuestos a mostrar dónde la IA redujo el esfuerzo y dónde introdujo nuevos costes. Así, los clientes pueden evaluar el alcance y el resultado sin utilizar las horas como única referencia del valor. Si todos miramos las mismas cuentas con transparencia, deja de ser una negociación de honorarios y pasa a ser un beneficio compartido. El renacimiento de la computación local Esta es la predicción que más me interesa. La computación local y privada volverá a ocupar un lugar relevante en las arquitecturas empresariales de IA. Los modelos de pesos abiertos mejoran rápidamente, y el software para ejecutarlos en Apple silicon y otro hardware accesible ha madurado. Un pequeño conjunto de Mac mini (o su equivalente) en una oficina o centro de datos puede trabajar ahora las 24 horas: una especie de equipo de apoyo digital que mantiene los datos y el control operativo más cerca de la organización. El precio de compra es solo una línea del cálculo. Un modelo creíble de punto de equilibrio también incluye utilización, consumo eléctrico, soporte, seguridad, mantenimiento del modelo, fiabilidad y el coste de la capacidad ociosa. Las cargas de trabajo internas estables son las mejores candidatas, especialmente cuando la privacidad importa y la calidad necesaria se conoce bien. La demanda irregular, los requisitos que cambian rápido o los problemas que necesitan los modelos más potentes disponibles seguirán beneficiándose de los servicios en la nube. Una utilización alta y constante cambia la ecuación. Para análisis internos, redacción, clasificación y todo ese trabajo cotidiano que conecta el conocimiento de una organización, disponer de capacidad propia empezará a competir con alquilar cada token. Espero que muchas organizaciones acaben con una arquitectura híbrida: modelos locales o privados para tareas repetibles, con APIs de modelos de última generación disponibles cuando una tarea realmente se beneficie de ellas. Eso convertirá la elección del modelo en una capacidad estratégica. Los equipos tendrán que saber cuánta inteligencia requiere una tarea, cómo medirán un buen resultado y dónde debe ejecutarse el trabajo. Las respuestas variarán según la carga de trabajo, precisamente por eso será cada vez más difícil defender una estrategia de modelo único. De la experimentación a la adopción responsable Nada de esto reduce mi entusiasmo por la IA. Al contrario, me hace querer que las organizaciones aborden su adopción con la misma seriedad que cualquier otra capacidad operativa. Los equipos necesitan visibilidad del uso, evaluaciones fiables, reglas de enrutamiento sensatas y permiso para elegir una herramienta más pequeña cuando sea la adecuada. La siguiente fase nos exigirá algo más que entusiasmo. Tendremos que entender la factura, diseñar teniendo en cuenta ese coste y decidir dónde merece la pena pagar por una inteligencia más cara. Los tokens gratis estuvieron bien mientras duraron. Saber exactamente qué estamos pagando y cuánto vale me parece un avance.