Red Hat presenta AI Inference Server

Red Hat ha recentemente annunciato il lancio del suo AI Inference Server, una soluzione pensata per semplificare e ottimizzare l’esecuzione di modelli di intelligenza artificiale generativa in ambienti cloud ibridi .

Basato sul progetto open source vLLM dell’Università di Berkeley, l’AI Inference Server di Red Hat integra tecnologie di Neural Magic per migliorare le prestazioni e ridurre i costi operativi . Questo server è disponibile sia come soluzione standalone containerizzata che come parte integrante di Red Hat Enterprise Linux AI (RHEL AI) e Red Hat OpenShift AI

Tra le sue caratteristiche principali, l’AI Inference Server offre strumenti di compressione intelligenti per ridurre le dimensioni dei modelli senza comprometterne l’accuratezza, un repository ottimizzato di modelli validati accessibile tramite Hugging Face, e supporto per l’esecuzione su qualsiasi tipo di acceleratore AI e in qualsiasi ambiente cloud Con questa iniziativa, Red Hat mira a democratizzare l’adozione dell’intelligenza artificiale generativa, offrendo una piattaforma di inferenza aperta e standardizzata che consente alle aziende di implementare modelli AI in modo più efficiente e flessibile.
Per maggiori informazioni consultare l’annuncio ufficiale dal sito ufficiale Red Hat.