Cada vez más, la industria de la IA avanza alrededor de modelos de IA generativa con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a requerir un uso intensivo de computación. O Dagan, líder de producto de la startup de IA AI21 Labs, afirma que este no tiene por qué ser el caso, y su empresa está lanzando un maniquí generativo para demostrarlo.
Los contextos, o ventanas de contexto, se refieren a datos de entrada (por ejemplo, texto) que un maniquí considera antiguamente de ocasionar resultados (más texto). Los modelos con ventanas de contexto pequeñas tienden a olvidar el contenido incluso de conversaciones muy recientes, mientras que los modelos con contextos más grandes evitan este problema y, como beneficio adicional, captan mejor el flujo de datos que reciben.
Puntal de AI21 Labs, un nuevo maniquí de concepción y descomposición de texto, puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Puntal, formado con una combinación de datos públicos y privados, puede escribir texto en inglés, francés, gachupin y portugués.
Puntal puede manejar hasta 140.000 tokens mientras se ejecuta en una sola GPU con al menos 80 GB de memoria (como una Nvidia A100 de variedad incorporación). Eso se traduce en aproximadamente de 105.000 palabras, o 210 páginas, una novelística de tamaño modesto.
Pira 2 de Meta, en comparación, tiene una ventana de contexto de 32.000 tokens (un poco más pequeña para los estándares actuales) pero solo requiere una GPU con ~12 GB de memoria para funcionar. (Las ventanas de contexto normalmente se miden en tokens, que son fragmentos de texto sin formato y otros datos).
A primera tino, Puntal no tiene cero específico. Existen un montón de modelos de IA generativa descargables y disponibles gratis, desde el DBRX recientemente emprendedor por Databricks hasta el mencionado Pira 2.
Pero lo que hace que Puntal sea único es lo que hay debajo del capó. Utiliza una combinación de dos arquitecturas de modelos: transformadores y modelos de espacio de estados (SSM).
Los transformadores son la cimentación elegida para tareas de razonamiento complejas, impulsando modelos como GPT-4 y Gemini de Google, por ejemplo. Tienen varias características únicas, pero, con diferencia, la característica que define a los transformadores es su «mecanismo de atención». Para cada documento de entrada (por ejemplo, una oración), transformadores pesar la relevancia de todas las demás entradas (otras oraciones) y extraer de ellas para ocasionar la salida (una nueva oración).
Los SSM, por otro banda, combinan varias cualidades de tipos más antiguos de modelos de IA, como redes neuronales recurrentes y redes neuronales convolucionales, para crear una cimentación computacionalmente más apto capaz de manejar largas secuencias de datos.
Ahora perfectamente, los MSE tienen sus limitaciones. Pero algunas de las primeras encarnaciones, incluido un maniquí de código rajado llamado Mamba de investigadores de Princeton y Carnegie Mellon, pueden manejar entradas más grandes que sus equivalentes basados en transformadores y, al mismo tiempo, superarlos en tareas de concepción de idioma.
De hecho, Puntal utiliza Mamba como parte del maniquí central, y Dagan afirma que ofrece tres veces más rendimiento en contextos largos en comparación con los modelos basados en transformadores de tamaños comparables.
«Si perfectamente hay algunos ejemplos académicos iniciales de modelos SSM, este es el primer maniquí a escalera de producción de jerarquía comercial», dijo Dagan en una entrevista con TechCrunch. «Esta cimentación, adicionalmente de ser innovadora e interesante para futuras investigaciones por parte de la comunidad, abre grandes posibilidades de eficiencia y rendimiento».
Ahora, si perfectamente Puntal se lanzó bajo la abuso Apache 2.0, una abuso de código rajado con relativamente pocas restricciones de uso, Dagan enfatiza que es una traducción de investigación que no está destinada a ser utilizada comercialmente. El maniquí no tiene salvaguardas para evitar que genere texto tóxico ni mitigaciones para acometer posibles sesgos; En las próximas semanas estará arreglado una traducción mejorada y aparentemente “más segura”.
Pero Dagan afirma que Puntal demuestra la promesa de la cimentación SSM incluso en esta etapa temprana.
«El valencia añadido de este maniquí, tanto por su tamaño como por su cimentación innovadora, es que puede instalarse fácilmente en una sola GPU», afirmó. «Creemos que el rendimiento mejorará aún más a medida que Mamba realice ajustes adicionales».
————————————————– —————–
Esta página transcribe artículos de diversas fuentes de dominio conocido, las ideas expresadas son responsabilidad de sus respectivos autores por lo cual no nos hacemos responsables del uso o la interpretación que se les dé. La información publicada nunca debe sustituir consultorio profesional, médica, legítimo o psicológica.
