En su conferencia GTC, Nvidia anunció hoy Nvidia NIM, una nueva plataforma de software diseñada para impulsar la implementación de modelos de IA personalizados y previamente entrenados en entornos de producción. NIM toma el trabajo de software que Nvidia ha realizado en torno a la inferencia y optimización de modelos y lo hace fácilmente accesible combinando un maniquí determinado con un motor de inferencia optimizado y luego empaquetándolo en un contenedor, haciéndolo accesible como un microservicio.
Por lo universal, a los desarrolladores les llevaría semanas, si no meses, remitir contenedores similares, argumenta Nvidia, y eso si la empresa tiene talento interno en inteligencia industrial. Con NIM, Nvidia apunta claramente a crear un ecosistema de contenedores preparados para IA que utilizan su hardware como capa fundamental con estos microservicios seleccionados como capa de software central para las empresas que desean acelerar su hoja de ruta de IA.
Actualmente, NIM incluye soporte para modelos de NVIDIA, A121, Adept, Cohere, Getty Images y Shutterstock, así como modelos abiertos de Google, Hugging Face, Meta, Microsoft, Mistral AI y Stability AI. Nvidia ya está trabajando con Amazon, Google y Microsoft para que estos microservicios NIM estén disponibles en SageMaker, Kubernetes Engine y Azure AI, respectivamente. Asimismo se integrarán en marcos como Deepset, LangChain y LlamaIndex.
Créditos de imagen: NVIDIA
“Creemos que la GPU Nvidia es el mejor oficio para realizar inferencias de estos modelos en […]y creemos que NVIDIA NIM es el mejor paquete de software, el mejor tiempo de ejecución, para que los desarrolladores puedan desarrollar aplicaciones empresariales y dejar que Nvidia haga el trabajo para producir estos modelos para ellos de la forma más cómoda posible. guisa eficaz y de nivel empresarial, para que puedan hacer el resto de su trabajo”, dijo Manuvir Das, director de informática empresarial de Nvidia, durante una conferencia de prensa previa a los anuncios de hoy.
En cuanto al motor de inferencia, Nvidia utilizará Triton Inference Server, TensorRT y TensorRT-LLM. Algunos de los microservicios de Nvidia disponibles a través de NIM incluirán Riva para personalizar modelos de voz y traducción, cuOpt para optimizaciones de enrutamiento y el maniquí Earth-2 para simulaciones meteorológicas y climáticas.
La compañía planea adicionar capacidades adicionales con el tiempo, incluido, por ejemplo, hacer que el cirujano Nvidia RAG LLM esté apto como NIM, lo que promete simplificar mucho la creación de chatbots de IA generativos que puedan extraer datos personalizados.
Esta no sería una conferencia de desarrolladores sin algunos anuncios de clientes y socios. Entre los usuarios actuales de NIM se encuentran Box, Cloudera, Cohesity, Datastax, Dropbox.
y NetApp.
“Las plataformas empresariales establecidas cuentan con una mina de oro de datos que pueden transformarse en copilotos de IA generativa”, afirmó Jensen Huang, fundador y director ejecutante de NVIDIA. «Creados con nuestro ecosistema de socios, estos microservicios de IA en contenedores son los pilares para que las empresas de todos los sectores se conviertan en empresas de IA».
————————————————– —————–
Esta página transcribe artículos de diversas fuentes de dominio notorio, las ideas expresadas son responsabilidad de sus respectivos autores por lo cual no nos hacemos responsables del uso o la interpretación que se les dé. La información publicada nunca debe sustituir información profesional, médica, constitucional o psicológica.
