OctoAI (anteriormente conocido como OctoML), anunció el tiro de OctoStack, su nueva decisión de extremo a extremo para implementar modelos de IA generativa en la cúmulo privada de una empresa, ya sea regional o en una cúmulo privada imaginario de uno de los principales proveedores. , incluidos AWS, Google, Microsoft y Azure, así como CoreWeave, Lambda Labs, Snowflake y otros.
En sus inicios, OctoAI se centró casi exclusivamente en optimizar los modelos para que se ejecutaran de forma más eficaz. Basado en el entorno del compilador de educación automotriz Apache TVM, la compañía lanzó su plataforma TVM-as-a-Service y, con el tiempo, la expandió hasta convertirla en una propuesta completa de servicio de modelos que combinaba sus habilidades de optimización con una plataforma DevOps. Con el auge de la IA generativa, el equipo lanzó la plataforma OctoAI totalmente administrada para ayudar a sus usuarios a servir y ajustar los modelos existentes. OctoStack, en esencia, es esa plataforma OctoAI, pero para implementaciones privadas.
Créditos de imagen: OctoAI
El director ejecutante y cofundador de OctoAI, Luis Ceze, me dijo que la empresa tiene más de 25.000 desarrolladores en la plataforma y cientos de clientes de suscripción que la utilizan en producción. Muchas de estas empresas, dijo Ceze, son empresas nativas de GenAI. Sin confiscación, el mercado de empresas tradicionales que desean adoptar IA generativa es significativamente más excelso, por lo que tal vez no sorprenda que OctoAI ahora incluso las persiga con OctoStack.
«Una cosa que quedó clara es que, a medida que el mercado empresarial pasa de la experimentación el año pasado a las implementaciones, todos están mirando a su en torno a porque están nerviosos por remitir datos a través de una API», dijo Ceze. “Dos: muchos de ellos incluso han comprometido su propia computación, entonces, ¿por qué voy a comprar una API cuando ya tengo mi propia computación? Y tres, no importa qué certificaciones obtengas y qué tan excelso sea tu nombre, ellos sienten que su IA es tan valiosa como sus datos y no quieren enviarla. Por lo tanto, existe una aprieto en realidad clara en la empresa de tener la implementación bajo su control”.
Ceze señaló que el equipo había estado desarrollando la cimentación para ofrecer tanto su plataforma SaaS como su plataforma alojada desde hacía algún tiempo. Y aunque la plataforma SaaS está optimizada para hardware Nvidia, OctoStack puede cobijar una escala mucho más amplia de hardware, incluidas las GPU AMD y el acelerador Inferentia de AWS, lo que a su vez hace que el desafío de optimización sea un poco más difícil (al mismo tiempo que aprovecha las fortalezas de OctoAI).
La implementación de OctoStack debería ser sencilla para la mayoría de las empresas, ya que OctoAI ofrece la plataforma con contenedores de repaso inmediata y sus gráficos Helm asociados para las implementaciones. Para los desarrolladores, la API sigue siendo la misma, sin importar si apuntan al producto SaaS o a OctoAI en su cúmulo privada.
El caso de uso empresarial canónico sigue utilizando el recapitulación de texto y RAG para permitir a los usuarios chatear con sus documentos internos, pero algunas empresas incluso están ajustando estos modelos en sus bases de código interno para ejecutar sus propios modelos de coexistentes de código (similar a lo que ofrece ahora GitHub). a los usuarios de Copilot Enterprise).
Para muchas empresas, poder hacerlo en un entorno seguro que está estrictamente bajo su control es lo que ahora les permite poner en producción estas tecnologías para sus empleados y clientes.
«Para nuestro caso de uso sensible al rendimiento y la seguridad, es imperativo que los modelos que procesan datos de llamadas se ejecuten en un entorno que ofrezca flexibilidad, escalera y seguridad», dijo Dali Kaafar, fundador y director ejecutante de Apate AI. «OctoStack nos permite ejecutar de forma hacedero y válido los modelos personalizados que necesitamos, internamente de los entornos que elijamos, y ofrecer la escalera que nuestros clientes requieren».
————————————————– —————–
Esta página transcribe artículos de diversas fuentes de dominio sabido, las ideas expresadas son responsabilidad de sus respectivos autores por lo cual no nos hacemos responsables del uso o la interpretación que se les dé. La información publicada nunca debe sustituir consultoría profesional, médica, admitido o psicológica.
