Qualcomms neue Chips läuten die Ära der KI direkt auf dem Gerät ein

Qualcomms zwei neue, auf künstliche Intelligenz ausgerichtete Smartphone-Prozessoren sind darauf ausgelegt, leistungsfähige Modelle direkt auf mobiler Hardware auszuführen. Der neue Prozessor der Spitzenklasse zeichnet sich durch die Unterstützung von Mixture-of-Experts-Modellen mit 30 Milliarden Parametern aus, die lokal auf dem Gerät ausgeführt werden können. Für Unternehmen geht es bei dieser Entwicklung nicht nur um mobile Rechenleistung, sondern auch darum, wo KI-Aufgaben ausgeführt, wie Daten verarbeitet und in welchen Fällen Cloud-Ressourcen genutzt werden.

Mixture of Experts bezeichnet eine Architektur, bei der ein KI-Modell verschiedene spezialisierte Komponenten nutzt. Die für Qualcomms Spitzenprozessor angegebene Unterstützung von 30 Milliarden Parametern gilt für Modelle mit dieser Architektur. Daraus lässt sich daher nicht ableiten, dass jedes Modell dieser Größenordnung unter denselben Bedingungen ausgeführt werden kann. Bei der Bewertung für den Unternehmenseinsatz sollten neben der Parameterzahl auch die Modellarchitektur, die Ressourcen des Geräts und die Anforderungen der jeweiligen Aufgabe berücksichtigt werden.

KI auf dem Gerät bedeutet, dass das Modell lokale Hardware nutzt, statt jede Anfrage zur Verarbeitung an einen entfernten Server zu senden. Bei geeigneten Aufgaben kann dieser Ansatz die Abhängigkeit von einer Cloud-Verbindung verringern und die Notwendigkeit begrenzen, Daten außerhalb des Geräts zu übertragen. Dass ein Modell lokal ausgeführt wird, bedeutet jedoch nicht automatisch, dass sämtliche Funktionen der Anwendung offline verfügbar sind. Bei Abläufen, die auf externe Datenquellen oder Unternehmenssysteme zugreifen, muss der Verbindungsbedarf gesondert geprüft werden.

Für Unternehmen ist der Datenschutz ein wichtiger Aspekt der lokalen Verarbeitung. Die Verarbeitung von Daten auf dem Gerät kann dazu beitragen, weniger Inhalte an die Cloud zu senden, bietet für sich genommen jedoch keine umfassende Sicherheitsgarantie. Zugriffskontrollen für das Gerät, App-Berechtigungen und Entscheidungen zur Datenspeicherung bleiben wichtig. Ebenso besteht zwar Einsparpotenzial bei den Kosten für Cloud-Rechenleistung, die tatsächlichen Kostenauswirkungen müssen jedoch im Zusammenhang mit der Nutzungsintensität, den Hardwareanforderungen und der Gestaltung der Anwendung betrachtet werden.

Bei X Mind Solutions betrachten wir diese Entwicklung als eine Architekturentscheidung darüber, wo Arbeitslasten in unternehmensweiten KI-Lösungen ausgeführt werden. Die Unterscheidung zwischen Aufgaben, die auf mobilen Geräten ausgeführt werden können, und Prozessen, die zentrale Systeme benötigen, kann fundiertere Entscheidungen bei der Konzeption von Agenten und Automatisierungen ermöglichen. Qualcomms neue Prozessoren rücken diese Option in den Vordergrund. Bei der Umsetzung müssen jedoch die Modellkompatibilität, der Datenfluss und die Leistung auf dem Zielgerät überprüft werden.