©Red Hat Co., Ltd.
Red Hat hat kürzlich RHEL AI eingeführt, eine Plattform zum nahtlosen Entwickeln, Testen und Bereitstellen von Unternehmensanwendungen mithilfe der Granite-LLM-Familie von IBM. Wir haben mit Jesper Rooth, Red Hats EMEA RHEL-Plattformleiter, über die KI-Pläne von Red Hat gesprochen.
Linux Magazine: Was ist der Unterschied zwischen einer KI-Plattform und einem regulären Server?
Jesper Rooth: Red Hat Enterprise Linux AI ist die Basismodellplattform zum Entwickeln, Testen und Bereitstellen von Unternehmensanwendungen unter Verwendung der umfangreichen Granite-Familie von Sprachmodellen. RHEL AI verwendet eine neue Funktion in Red Hat Enterprise Linux namens Image-Modus. Der Image-Modus ist eine Bereitstellungsmethode, die die Leistungsfähigkeit von Containern nutzt, um verschiedene Aspekte der IT-Verwaltung in einen einzigen Workflow zu integrieren. Dadurch wird Linux portabel, skalierbar und KI-fähig. Auf dieser Grundlage können Sie eine unveränderliche RHEL-Installation erstellen, die nur den Software-Stack und den Kernel enthält, der LLM-generierte KI-Workloads unterstützt. Im Wesentlichen ist dies das gleiche RHEL, das Sie gewohnt sind, nur mit der integrierten Unveränderlichkeit des Bildmodus.
LM: Ist RHEL AI eine maßgeschneiderte Lösung nur für die Modelltrainingsphase oder kann sie auch später zu Ihrem Vorteil genutzt werden, wenn Sie das trainierte Modell in Ihrer Anwendung ausführen?
JR: RHEL AI bietet auch ein VLLM (Very Large Language Model) als Inferenz-Engine, sodass es auch als erstklassige Bereitstellungs-/Inferenzlösung verwendet werden kann.
LM: An wen richtet sich das KI-Produkt? Soll es sich auch an mittelständische Kunden richten oder richtet es sich an Unternehmen?
JR: RHEL AI richtet sich an Benutzer, die eine benutzerfreundliche Appliance-ähnliche Lösung zum Trainieren ihrer eigenen Modelle suchen. RHEL AI ist ein Einzelserver und unterstützt bis zu 8 Nvidia H100-GPUs. Zielgruppe sind Unternehmen, die ihre sensiblen Daten für bestimmte Anwendungsfälle direkt in Modelle einbringen möchten. Die Bereitstellung einer konsistenten Basismodellplattform, die nah an den Daten Ihres Unternehmens ist, ist für die Unterstützung Ihrer KI-Strategie in der Produktion von entscheidender Bedeutung. Als Erweiterung des Hybrid-Cloud-Portfolios von Red Hat deckt RHEL AI nahezu jede erdenkliche Unternehmensumgebung ab, von lokalen Rechenzentren über Edge-Umgebungen bis hin zu öffentlichen Clouds.
LM: Wie viel Prozent der künstlichen Intelligenz schätzt Red Hat in naher Zukunft, mit der Benutzer tatsächlich auf ihrer Plattform interagieren, anstatt sie in Form eines Dienstes zu nutzen?
JR: Red Hat glaubt, dass die Zukunft der KI Open Source sein muss und dass Unternehmen mehr Wert aus kleinen, anwendungsspezifischen Modellen ziehen werden, die auf ihren eigenen Daten trainiert werden. Das Problem bei der Verwendung großer Modelle mit mehr als einer Billion Parametern besteht darin, dass sie alles wissen, möglicherweise auch die DNA-Sequenz der Spinne. Dieses Wissen ist jedoch nicht sehr nützlich, wenn ein Unternehmen einen Chatbot für Kundendienstmitarbeiter erstellen oder Kunden bei der Lösung von Problemen mit einem Produkt helfen möchte. RHEL AI und InstructLab machen die Möglichkeit, Ihre eigenen Modelle zu trainieren und auszuführen, zugänglicher und kostengünstiger. InstructLab ist ein Open-Source-Projekt zur Verbesserung umfangreicher Sprachmodelle. Ein von IBM und Red Hat ins Leben gerufenes Community-Projekt ermöglicht vereinfachtes Experimentieren mit generativen KI-Modellen und die Anpassung optimierter Modelle.
LM: Die Verbesserung der oben beschriebenen groß angelegten Sprachmodelle mithilfe von InstructLab kann als Aufbau auf dem allgemeinen Verständnis der Welt und der Sprache des bereits trainierten Basismodells verstanden werden, ergänzt durch domänenspezifisches Wissen. Wenn ja, worin besteht der Unterschied? von der Sucherweiterungsgenerierung?
JR: Ja, der Ansatz von RHEL AI besteht darin, bereits trainierte Sprachmodelle zu verbessern, indem domänenspezifisches Wissen direkt zum Modell selbst hinzugefügt wird. Dies unterscheidet sich von der Retrieval Extension Generation (RAG), die auf dem Abrufen externer Informationen während der Verwendung beruht. RHEL AI reduziert die Komplexität und Kosten der Wartung externer Suchsysteme und erhöht die Effizienz für domänenspezifische Aufgaben durch die Einbettung von Wissen in Modelle.
LM: Gibt es konkrete Projekte, die Ihre Kunden bereits realisiert haben oder mit diesem Angebot realisieren möchten?
