VMware- und Nvidia-Team für Unternehmen

Jul 31, 2023

Von Maria Korolov

Mitwirkender Autor, Network World |

Unternehmen, die heute versuchen, generative KI einzusetzen, stehen vor einem großen Problem. Wenn sie eine kommerzielle Plattform wie OpenAI nutzen, müssen sie Daten in die Cloud senden, was möglicherweise gegen Compliance-Anforderungen verstößt und teuer ist. Wenn sie ein Modell wie Llama 2 herunterladen und lokal ausführen, müssen sie viel darüber wissen, wie man es verfeinert, wie man Vektordatenbanken einrichtet, um es mit Live-Daten zu versorgen, und wie man es in die Praxis umsetzt.

Die neue Partnerschaft von VMware mit Nvidia zielt darauf ab, diese Probleme zu lösen, indem sie eine vollständig integrierte, einsatzbereite generative KI-Plattform anbietet, die Unternehmen vor Ort, in Colocation-Einrichtungen oder in privaten Clouds betreiben können. Die Plattform umfasst Llama 2 oder eine Auswahl anderer großer Sprachmodelle sowie eine Vektordatenbank, um dem LLM aktuelle Unternehmensinformationen zuzuführen.

Das Produkt, VMware Private AI Foundation mit Nvidia, wird über generative KI-Software und beschleunigtes Computing von Nvidia verfügen und auf VMware Cloud Foundation aufbauen und für KI optimiert sein.

Der Bedarf an einer solchen Plattform ist dramatisch. Laut der in diesem Monat veröffentlichten globalen Benchmark-Studie zu generativer KI von Lucidworks priorisieren 96 % der Führungskräfte und Manager, die an KI-Entscheidungsprozessen beteiligt sind, aktiv Investitionen in generative KI, und 93 % der Unternehmen planen, ihre KI-Ausgaben im kommenden Jahr zu erhöhen.

Aber Risikomanagement ist ein ernstes Problem. Die unsichere und sich entwickelnde Regulierungslandschaft habe erhebliche Auswirkungen auf Investitionsentscheidungen im Bereich der generativen KI, sagten 77 % der im Rahmen einer aktuellen KPMG-Umfrage befragten CEOs. KPMG berichtete, dass die Priorisierung eines effektiven Risikomanagements in den letzten Monaten allgemein zugenommen hat, wobei der Schutz personenbezogener Daten und Datenschutzbedenken mit 63 % ganz oben auf der Prioritätenliste stehen, gefolgt von Cybersicherheit mit 62 %.

Durch die Ausführung großer Sprachmodelle vor Ort oder in anderen vom Unternehmen kontrollierten Umgebungen können viele dieser Probleme erheblich gemildert werden.

„Die Möglichkeit, ein Modell lokal auszuführen, kann viele Türen für Unternehmen öffnen, denen die Verwendung öffentlich gehosteter Modelle einfach verboten war, selbst wenn diese in einer virtuellen öffentlichen Cloud gehostet wurden“, sagt Bradley Shimmin, Chefanalyst für KI-Plattformen, Analysen und Datenmanagement beim Forschungsunternehmen Omdia.

Dies sei besonders wichtig für stark regulierte Sektoren wie das Finanzwesen oder für staatliche Anwendungsfälle. Lokale LLMs können auch Bedenken hinsichtlich der Datenresidenz berücksichtigen.

„Die Möglichkeit, hochmoderne Modelle zu haben, die vollständig in Luftspaltsystemen betrieben werden können, ist ziemlich überzeugend“, sagt Shimmin. „Es geht darum, das Modell mit den Daten zu verbinden. Die Datengravitation treibt die gesamte Branche an.“

Wenn die lokal betriebenen Modelle zudem kostenlos und Open Source sind, können Unternehmen eine Menge Geld sparen, da sie nicht für OpenAI-API-Aufrufe bezahlen müssen. „Die Latenz ist geringer, die Kosten sind geringer und Sie haben mehr Kontrolle darüber“, sagt Manish Goyal, globaler KI- und Analyseleiter bei IBM Consulting.

Das neue Angebot von VMware ist darauf ausgerichtet, die Welle zu erwischen.

Und diese Woche demonstrieren Nvidia und VMware auf der VMware Explore 2023-Konferenz, wie Unternehmen ihre Tools nutzen können, um kostenlose Open-Source-LLMs herunterzuladen, sie anzupassen und generative KI in Produktionsqualität in VMware-Umgebungen bereitzustellen.

Der Fang? VMware Private AI Foundation wird erst Anfang nächsten Jahres verfügbar sein.

„Wir glauben, dass Unternehmen mehr ihrer Gen-KI-Workloads auf ihre Daten übertragen werden, anstatt ihre Daten in die öffentlichen Cloud-Dienste zu verlagern“, sagt Paul Turner, Vizepräsident für Produktmanagement für vSphere und Cloud-Plattform bei VMware.

Unternehmen können Modelle wie Metas Llama 2 nutzen, die Modelle in ihren Rechenzentren neben ihren Daten platzieren, sie optimieren und verfeinern und neue Geschäftsangebote erstellen, sagt er. „Es trägt dazu bei, geschäftliche Differenzierungsmerkmale für Unternehmen zu schaffen.“

Wenn Unternehmen dies jedoch selbst versuchen, kann es schwierig sein, alle Hardware- und Softwarekomponenten mit allen erforderlichen Anwendungen und Toolkits zu integrieren. „Wir möchten es unseren Kunden einfach machen“, sagt Turner.

VMware Private AI Foundation sei der komplette Stack, sagt er. Es beginnt mit einem grundlegenden Modell: Metas Llama 2 oder Falcon oder Nvidias eigener NeMo AI. Der Aufbau auf vorhandenen Modellen sei effizienter als der Aufbau neuer Grundmodelle von Grund auf, sagt er.

Nach der Feinabstimmung der Modelle benötigen sie eine Möglichkeit, aktuelle Informationen ohne Umschulung zu erhalten. Dies erfolgt typischerweise in Form von Vektordatenbanken. Die VMware Private AI Foundation verfügt über eine integrierte Vektordatenbank: PostgreSQL mit der PGVector-Erweiterung.

„Die Vektordatenbank ist sehr nützlich, wenn es um schnelllebige Informationen geht“, sagt Turner. „Es ist Teil des Aufbaus einer Komplettlösung.“

Darüber hinaus hat VMware große Anstrengungen zur Leistungsoptimierung unternommen.

„Modelle passen nicht nur in eine einzelne GPU“, sagt Turner. „Sie benötigen zwei GPUs, möglicherweise vier. Manchmal möchte man auf acht GPUs aufstocken, um die benötigte Leistung zu erhalten – und wir können es auf bis zu 16 GPUs skalieren.“

Auch die Lagerung sei optimiert, fügt er hinzu. Es gibt einen direkten Pfad von der GPU zum Speicher, der die CPU umgeht. Dell, HPE und Lenovo haben sich bereits als Partner für die Lieferung des restlichen Pakets angemeldet.

„Es wird ein einzelnes SKU-Produkt von VMware sein“, sagt Turner, „aber es wird auch von diesen Anbietern als vorintegrierte, einsatzbereite Systeme geliefert. Wir geben Kunden diese Wahl.“

VMware Private AI Foundation wird auch über die OEM-Kanäle und Distributoren von VMware sowie über mehr als 2.000 MSP-Partner erhältlich sein.

Nvidias KI-Produkte werden auch über ein breites Partnersystem erhältlich sein, sagt Justin Boitano, Vizepräsident für Enterprise Computing bei Nvidia. „Wir haben über 20 globale OEMs und ODMs.“

Die Preise basieren auf GPUs, sagt Turner von VMware. „Wir wollen es an den Wert für die Kunden knüpfen.“ Er lehnte es jedoch ab, weitere Einzelheiten zu nennen. „Wir sind nicht bereit, die Preise dafür zu teilen.“

Wenn Kunden nicht bis zum nächsten Jahr warten möchten, stehen Referenzarchitekturen bereits zur Verfügung. „Kunden können ihre eigenen Brötchen rollen“, sagt Turner. „Aber das vollständig integrierte Single-Suite-Produkt wird Anfang 2024 verfügbar sein.“

Laut Boitano von Nvidia ist generative KI die transformativste Technologie unseres Lebens.

„Diese Modelle sind erstaunlich“, sagt er. „Sie bieten eine natürlichsprachliche Schnittstelle zu den Geschäftssystemen eines Unternehmens. Die Leistungsfähigkeit ist phänomenal. Wir sehen, dass KI im nächsten Jahrzehnt in jedes Unternehmen eindringt.“

Das Problem besteht darin, dass Standardmodelle nur die Daten kennen, auf denen sie trainiert wurden. Wenn sie etwas über ein bestimmtes Unternehmen wissen, dann nur die öffentlichen Informationen, die zum Zeitpunkt ihrer Schulung im Internet verfügbar waren.

Darüber hinaus sind Grundlagenmodelle wie ChatGPT in allen Bereichen geschult. Sie können Gedichte schreiben und programmieren und bei der Planung von Mahlzeiten helfen, sind aber oft nicht besonders gut bei den spezifischen Aufgaben, die ein Unternehmen von ihnen verlangt. „Sie müssen Modelle anhand Ihrer privaten Geschäftsinformationen anpassen“, sagt Boitano. „Dort wird der wahre Geschäftswert freigesetzt.“

Dabei kann es sich um die Callcenter-Aufzeichnungen eines Unternehmens oder um IT-Tickets handeln. „Aber Sie möchten diese Daten nicht an ein Modell weitergeben, das sie aufnimmt und in eine öffentliche Sache kodiert“, sagt er.

Hier kommen Open-Source-Modelle wie Llama 2 ins Spiel, sagt er. „Sie können diese Modelle einbeziehen und sie einfach mit Ihren proprietären Informationen kombinieren, sodass das Modell ein differenziertes Verständnis dessen hat, was Sie benötigen.“

Die VMware Private AI Foundation wird laut Boitano mit vorgefertigten Modellen, Trainings-Frameworks und einer KI-Workbench geliefert. „Dies erleichtert den Einstieg auf Ihrem Laptop oder PC, bietet aber auch einen einfachen Weg zum Rechenzentrum, wo der Großteil der Rechen- und Inferenzarbeit stattfinden wird“, sagt er.

Die Feinabstimmung kann auf acht GPUs nur acht Stunden dauern, um ein Modell mit 40 Milliarden Parametern zu erstellen. Anschließend wird die Vektordatenbank eingebunden, sodass die KI unternehmensweit auf aktuelle Informationen zugreifen kann. „Wir glauben, dass all dies bisher unlösbare Probleme aufdeckt“, sagt Boitano.

Die Plattform wird den A100 AI-Chip unterstützen, der erstmals im Jahr 2020 eingeführt wurde, den H100-Chip, der 2022 veröffentlicht wird, und den neuen L40S-Chip, wenn er nächstes Jahr ausgeliefert wird, sagt Boitano.

Der L40S werde im Vergleich zum A100 eine 1,2-mal höhere generative KI-Inferenzleistung und eine 1,7-mal höhere Trainingsleistung bieten, sagt er.

„Viele Partner sind von L40S begeistert, weil es nicht nur für generative KI gedacht ist, sondern auch virtuelle Desktops und Rendering durchführen kann“, sagt er.

Die VMware Private AI Foundation wird in der Lage sein, eine Vielzahl generativer KI-Modelle auszuführen, aber das Modell, das heutzutage am häufigsten für Unternehmensbereitstellungen genannt wird, ist Llama 2.

Meta veröffentlichte Llama 2 im Juli. Es ist kostenlos für die kommerzielle Nutzung und Open Source – sozusagen. Unternehmen mit mehr als 700 Millionen aktiven monatlichen Nutzern müssen eine Lizenz beantragen.

Heutzutage sind fast alle großen Sprachmodelle an der Spitze des HuggingFace Open LLM Leaderboard Varianten von Llama 2. Zuvor waren Open-Source-Grundmodelle in ihrer Benutzerfreundlichkeit eingeschränkt, viele basierten auf dem Vorläufer von Llama 2, Llama, und wurden nur für Nicht-Benutzer lizenziert -Kommerzielle Benutzung.

„Jetzt haben wir ein kommerziell lizenzierbares Open-Source-Modell, für das Sie nicht bezahlen müssen“, sagt Juan Orlandini, CTO Nordamerika bei Insight, einem Lösungsintegrator mit Sitz in Chandler, Arizona. „Der Geist ist aus der Flasche.“

Unternehmen können diese Modelle herunterladen, sie durch zusätzliche Schulungen an ihren eigenen Daten verfeinern und ihnen über Einbettungen Zugriff auf Echtzeitdaten gewähren, sagt er.

Llama 2 ist in drei Größen erhältlich, sodass Unternehmen die Leistung im Verhältnis zu den Hardwareanforderungen optimieren können. „Man kann das tatsächlich in etwas umwandeln, das auf Geräten mit relativ geringem Stromverbrauch läuft“, sagt er.

„Private LLMs beginnen sich für Unternehmen zu etablieren“, sagt John Carey, Geschäftsführer der Technology Solutions Group beim globalen Beratungsunternehmen AArete.

Der größte Vorteil besteht darin, dass Unternehmen die KI in ihre Daten integrieren können und nicht umgekehrt.

„Sie müssen ihre Daten schützen, sie müssen sicherstellen, dass ihre Daten über Zugriffskontrollen und die gesamte Standard-Datenverwaltung verfügen, aber sie wollen ChatGPT-ähnliche Funktionalität“, sagt Carey. „Aber es gibt echte Bedenken hinsichtlich ChatGPT oder Bard oder was auch immer, insbesondere bei proprietären Daten – oder Gesundheitsdaten oder Vertragsdaten.“

VMware ist nicht die einzige Plattform, die Llama 2 unterstützt.

„AWS hat seine Titan-Modellfamilie, aber sie haben kürzlich auch eine Partnerschaft mit Meta geschlossen, um daneben die Llama-Modelle zu hosten“, sagt Shimmin von Omdia.

Microsoft hat außerdem Unterstützung für Llama 2 auf Azure angekündigt und es ist bereits im Azure Machine Learning-Modellkatalog verfügbar.

„Angesichts der Art und Weise, wie Google seine Tools konzipiert hat, könnte ich mir vorstellen, dass sie auch in der Lage wären, Modelle von Drittanbietern zu hosten und mit ihnen zu arbeiten, sowohl Closed- als auch Open-Source-Modelle“, sagt Shimmin.

IBM plant, Llama 2 innerhalb seiner Watsonx AI and Data Platform verfügbar zu machen.

Lesen Sie als nächstes Folgendes:

Maria Korolov berichtet seit 20 Jahren über aufstrebende Technologien und aufstrebende Märkte.

Copyright © 2023 IDG Communications, Inc.