Meta presentó recientemente Llama 2, una familia de modelos de lenguaje de inteligencia artificial (IA) de código abierto. Lo que diferencia a Llama 2 de su predecesor es su licencia comercial, que permite integrar los modelos en productos comerciales. Esta nueva oferta de Meta presenta modelos de diferentes tamaños, que van desde 7 a 70 mil millones de parámetros. Según Meta, superan a otros modelos de chat de código abierto en la mayoría de los criterios de rendimiento probados.

Sólido rendimiento y variedad de modelos

Según Meta, los modelos “preentrenados” de Llama 2 se entrenaron en 2 billones de tokens con una ventana emergente de 4096 tokens (fragmentos de palabras). Es esta ventana emergente la que determina cuánto contenido puede procesar el modelo simultáneamente. Además, los modelos finamente ajustados de Llama 2 se beneficiaron de más de un millón de anotaciones humanas durante su entrenamiento. Y se han desarrollado especialmente para aplicaciones de chat similares a ChatGPT.

Aunque Llama 2 no puede competir con el modelo GPT-4 de OpenAI en términos de rendimiento, sigue siendo muy competitivo para un modelo de código abierto. Según las calificaciones de Jim Fan, un científico de inteligencia artificial de Nvidia, “70 mil millones está cerca de GPT-3.5 en tareas de razonamiento, pero hay una brecha significativa en los puntos de referencia de codificación. Iguala o supera a PaLM-540B en la mayoría de los puntos de referencia, pero queda muy por detrás de GPT-4 y PaLM-2-L.»

“Esto cambiará el panorama del mercado de LLM”, comentó Yann LeCun, director científico de IA.

 Llama-v2 está disponible en Microsoft Azure y pronto estará disponible en AWS, Hugging Face y otros proveedores.

Debates en torno a los modelos de código abierto

Los modelos de IA de código abierto, como Llama 2, están generando debate entre los expertos. Los defensores del código abierto señalan su papel en la promoción de la transparencia, la competencia económica, la libertad de expresión y el acceso democratizado a la IA. Sin embargo, los críticos señalan los riesgos potenciales del uso indebido, como generar spam o información errónea. Si bien los modelos de IA de código abierto han demostrado ser populares entre los aficionados y las personas que buscan chatbots sin censura, también han resultado controvertidos. Meta se destaca como el único gigante tecnológico que admite los principales modelos disponibles en código abierto, mientras que las empresas que admiten software cerrado incluyen OpenAI, Microsoft y Google.

Llama 2 podría desempeñar algunos de estos roles, aunque tales usos violan los términos de servicio de Meta. Actualmente, si alguien realiza actos restringidos con la API ChatGPT de OpenAI, se puede revocar el acceso. Pero con el software de código abierto, una vez que se lanza, no hay forma de recuperarlo.

Aunque Llama 2 es de código abierto, Meta no ha revelado la fuente de los datos de entrenamiento utilizados para crear los modelos de Llama 2.

Abeba Birhane, empleado de Mozilla AI, señaló:

La falta de transparencia de los datos de capacitación sigue siendo un punto delicado para algunos críticos de los LLM, ya que los datos de capacitación que enseñan a estos LLM lo que “saben” a menudo provienen de extracciones no autorizadas de Internet, sin tener en cuenta la privacidad o el impacto comercial. 

Meta afirma haber “hecho un esfuerzo para eliminar datos de ciertos sitios que se sabe que contienen una gran cantidad de información personal sobre individuos” en el artículo de investigación de Llama 2, pero no enumera cuáles eran esos sitios.

Una apertura para aplicaciones comerciales

Llama 2 marca un punto de inflexión importante para Meta, ya que ahora es posible integrar estos modelos de código abierto en productos comerciales. Por otro lado, las grandes empresas con más de 700 millones de usuarios activos mensuales necesitarán obtener una autorización especial de Meta para usar Llama 2. Una medida que podría limitar el acceso a gigantes de la industria como Amazon o Google.

Los esfuerzos de Meta por la innovación abierta

Con el fin de abordar las posibles preocupaciones relacionadas con el lanzamiento de código abierto de Llama 2, Meta ha publicado una breve declaración de apoyo al enfoque abierto de Meta para la IA hoy que dice:

“Apoyamos un enfoque de innovación abierta para la IA. La innovación responsable y abierta nos da a todos una participación en el proceso de desarrollo de IA, brindando visibilidad, escrutinio y confianza a estas tecnologías. Abrir modelos Llama hoy permitirá que todos se beneficien de esta tecnología. »

La declaración fue firmada por muchos líderes y educadores de renombre como Drew Houston (CEO de Dropbox), Matt Bornstein (socio de Andreessen Horowitz), Julien Chaumond (CTO de Hugging Face), Lex Fridman (científico investigador del MIT) y Paul Graham (socio fundador de Y Combinator). Destacaron los beneficios de la innovación abierta, la transparencia y la confianza en el desarrollo de la IA.

Actualmente, cualquiera puede solicitar acceso para descargar Llama 2 completando un formulario en el sitio Meta.