Cloudera AI Inference es el nuevo servicio impulsado y lanzado por Cloudera y los microservicios NVIDIA NIM. Permite a las empresas optimizar y gestionar modelos de IA a gran escala, facilitándolas aprovechar el verdadero potencial de sus datos para desplegar proyectos de GenAI. Con este lanzamiento las organizaciones podrán contar con una única plataforma de inteligencia artificial y machine learning que soporta casi todos los modelos y casos de uso.
Así, Cloudera AI Inference impulsado por tecnología de NVIDIA, protege los datos sensibles de posibles filtraciones a modelos de IA alojados por terceros, al ofrecer un desarrollo y despliegue seguro, controlado por la empresa, al tiempo que ayuda a unificar una base sólida para obtener una IA de confianza. También favorece el desarrollo eficiente de chatbots, asistentes virtuales y aplicaciones con agentes de IA, mejorando tanto la productividad como el crecimiento de negocio. Al tiempo que facilita a los desarrolladores construir, personalizar y desplegar modelos de lenguaje de gran tamaño (LLM) a nivel empresarial, con una velocidad de rendimiento 36 veces mayor utilizando GPU NVIDIA Tensor Core, y una tasa de casi 4 veces más de rendimiento comparado con CPU.
Con la experiencia de usuario integrada, conecta la interfaz gráfica y las API directamente con los contenedores de microservicios NIM de NVIDIA, eliminando la necesidad de interfaces y sistemas de monitorización separados. La integración del servicio con el Registro de Modelos de IA de Cloudera también mejora la seguridad y la gobernanza, al poder gestionar controles de acceso tanto para los puntos finales de los modelos como para las operaciones. Los usuarios se benefician así de una plataforma unificada donde todos los modelos, ya sean despliegues de LLM o modelos tradicionales, se gestionan sin problemas bajo un solo servicio.
