Hablado de grandes modelos de lenguaje, definir los modelos «cerrados» o propietarios es fácil. Modelos de las familias GPT, Claude o Gemini, son claramente cerrados, ya que no tenemos acceso a los pesos del modelo, sus datos de entrenamiento, no podemos desplegarlos en nuestra propia infraestructura ni somos libres de hacerles fine-tuning, y el uso que podemos hacer de ellos está estrictamente limitado a las interfaces que OpenAI, Anthropic o Google decide publicar.
Los modelos se van haciendo más abiertos según se van eliminando las distintas limitaciones de los modelos cerrados. No existe una única definición de «modelo abierto», sino que hay grados, dependiendo de lo que permiten o no hacer. Los criterios son:
Pesos: los pesos son los valores que componen el modelo una vez entrenado. Tener acceso a los pesos del modelo quiere decir tener técnicamente la capacidad de desplegar dicho modelo para inferencia (ejecutarlo) o de modificarlo (fine-tuning, cuantización, ..).
Datos de entrenamiento: El acceso a los datos de entrenamiento representa un gran paso en cuanto a transparencia, permitiendo identificar el uso, por ejemplo, de material protegido por derechos de autor o sesgos en los datos, y haciendo reproducible el proceso de entrenamiento del modelo.
Licencia: La licencia permite al autor identificar quién y cómo puede usar el modelo. Aunque los pesos se hayan publicado, determinadas licencias pueden restringir el uso de un modelo, por ejemplo, a otras empresas, requiriendo el pago de royalties.
Veamos un par de ejemplos:
- Llama 3.1: los pesos son abiertos, mientras que los datos de entrenamiento no son públicos, y su licencia limita entre otras cosas determinados usos comerciales o usar las respuestas del modelo para entrenar otras LLMs. Por estas razones, hay quién piensa que los modelo Llama no pueden considerarse verdaderamente abiertos.
- LM360: hace públicos tanto los pesos como los datos de entrenamiento de sus modelos, y los facilita bajo licencia Apache 2.0, una clásica licencia de código abierto.
Aquí puedes encontrar una lista muy exhaustiva de modelos abiertos con su detalles.
Ventajas y desventajas de los modelos abiertos
Si abrimos Llama 3.1 70B y le preguntamos qué ventajas tienen los modelos abiertos nos generará una lista que tendrá cosas como:
- Transparencia: tener acceso al modelo (y quizá a los datos de entrenamiento) nos permite tener visibilidad de cómo funciona.
- Adaptabilidad: capacidad para hacer cambios en el modelo, como entrenamiento adicional, cuantización, etc, para adaptarlo mejor a nuestro caso de uso.
- Comunidad: podemos tener acceso a mejoras y modificaciones del modelo creadas por la comunidad, así como compartir conocimiento.
- Coste: tenemos absoluta flexibilidad para hospedar el modelo como y donde prefiramos, lo cual permite reducir el coste.
- Privacidad: la capacidad de ejecutar el modelo localmente hace que podamos asegurar máxima privacidad.
- Independencia del proveedor: ya que no seremos dependientes (si la licencia no es excesivamente restrictiva) de un proveedor que pueda decidir discontinuar el modelo que usemos, aumentar los precios, etc.
E igualmente podríamos hacer para las desventajas, pero que por no aburrir vamos a dejar en las dos principales:
- Menores capacidades: ya que los modelos más punteros suelen ser los desarrollados de manera cerrada. La principal excepción en este caso son los modelos Llama, que en su versión actual 3.1 se encuentran a un nivel similar al de los modelos más avanzados. Pero en general parece que es difícil para la mayoría de las empresas mantener un modelo de negocio que después de invertir las millonadas que cuesta entrenar un modelo avanzado para luego liberarlo y que cualquiera lo pueda usar gratuitamente.
- Complejidad: si decidimos usar un modelo abierto, hará falta más conocimiento técnico si queremos también gestionar nosotros mismo el hospedaje; aunque esto no tiene por qué ser así, ya que podemos buscar proveedores que gestionen esto por nosotros (por ejemplo, Groq).
Argumentos muy válidos todos ellos.
En mi opinión personal, sin embargo, para mi la principal razón por la que considero que el uso de modelos abiertos es la única opción válida en muchos casos es la del control. Me explico:
Hoy en día parece que toda nueva empresa emergente, servicio o producto debe estar relacionado con la inteligencia artificial. En cierto modo tiene sentido, ya que la IA (en particular los grandes modelos de lenguaje) es sin duda la tecnología más importante y transformadora que ha surgido en los últimos años. Sin embargo, en la mayoría de los casos, da la impresión de que estos productos nacen de la decisión de ofrecer algo relacionado con la IA, más que de la intención de resolver un problema real o ser útil, que queda en segundo plano. Es la típica situación de una solución en busca de un problema. Por supuesto, en este contexto, es de capital importancia usar el modelo más nuevo y llamativo.
La mayoría de estas empresas o productos tendrán una vida corta. Sin embargo, los que sobrevivan no se basarán únicamente en exhibir un truco tecnológico; tendrán que ofrecer un producto legítimo que aporte valor y que, incidentalmente, hará uso de la IA.
Los productos exitosos utilizarán la IA como uno de los ingredientes en su receta. Pero para que el producto triunfe, todos sus componentes deben estar ajustados para funcionar en armonía, y eso incluye una versión específica de un modelo. Una vez que el producto ha sido elaborado, probado y entregado a los usuarios, no es trivial cambiar a un nuevo modelo (incluso si es una versión más avanzada del mismo) y esperar que el producto siga funcionando con el mismo éxito.
Sin embargo, si el producto se basa en un modelo cerrado, siempre estará a merced del proveedor del modelo, que puede abandonarlo o modificarlo. Incluso el uso de terceros para alojar los modelos, como Amazon Bedrock, no garantiza que el modelo que estamos utilizando siga disponible dentro de 6 meses.
Por eso, yo no consideraría construir un proyecto serio sobre ningún modelo que no sea abierto. Los últimos modelos de vanguardia son emocionantes y excelentes para experimentar y usar personalmente, pero veo la falta de control al usar un modelo cerrado como un riesgo demasiado grande para cualquier proyecto serio.