KI in der Edge des IoT
Künstliche Intelligenz (KI) wird erfolgreich zur Erkennung von Gesichtern oder Verkehrszeichen, zur Diagnose von Krankheiten und Entwicklung von Therapien, Vorhersage von Wetterentwicklung und Konsumentenwünschen und vielem anderen mehr eingesetzt. Alles das erfordert leistungsfähige, energiehungrige Prozessoren. Sie residieren in der Cloud und bedingen die Übertragung der Sensordaten vom Ort ihrer Entstehung dorthin. Oft ist das unmöglich. Was ist die Lösung? Die Verlagerung der KI an die Edge des IoT, also in die Nähe der Sensoren. Um das zu schaffen, arbeiten Forscher einer Reihe innovativer Hardwarelösungen. Statt Hunderte von Watt verbrauchen sie nur wenig mehr als ein Watt oder sogar nur einige Milliwatt an Leistung.
(Bild: IMEC vzw)
Künstliche Intelligenz (KI) ist ein Begriff, der seit sechs Jahrzehnten die Imagination der Computerwissenschaftler befeuert. Es ist ihre ironische Umschreibung für den Wunschtraum, Applikationen zu schaffen, die mit der menschlichen Intelligenz vergleichbar oder ihr sogar überlegen sind. Das Fachgebiet entstand in den späten 1950er Jahren und ist seitdem durch mehrere Zyklen von Optimismus und Verdammung gegangen. Jedes Mal, wenn der Ehrgeiz und die Begeisterung auf gewaltige Höhen stiegen, scheiterten sie irgendwann an der Komplexität des Vorhabens und der verfügbaren Computerkapazität. In den letzten Jahren hat sich ein neuer Aufschwung angebahnt. Wir sehen, wie Computer bekannte Meister im Schach und sogar beim Go schlagen, dem komplexesten Spiel, das es gibt. Wir sehen Computer, die gebildet diskutieren und Auto fahren können. Also scheint KI dieses Mal ein Erfolg zu werden. Der Grund? Die verfügbare Rechenleistung ist exponentiell auf den heutigen Stand gewachsen. Und die Ambitionen zum durchgängigen Einsatz von KI wurden so weit herabgeschraubt, dass sie dem Stand der Technik entsprechen: Computer lassen sich nun trainieren, dass sie Ordnungsmuster in großen scheinbar zufällig gestreuten Datenmengen erkennen. Dies wird als maschinelles Lernen oder Machine Learning (ML) bezeichnet, und es ist anspruchsvoll genug.
Überwachtes oder unüberwachtes Machine Learning
Supervised (überwachtes, betreutes) Machine Learning ist die Technik, die bislang die größten Erfolge verzeichnet. Das geht nach folgendem Schema: Ein ML-System wird mit einem großen Datensatz und einer Aufgabe konfrontiert, etwa mit einem Pixelmuster, einer Wetterkarte oder einer Krankengeschichte mit körperlichen Messdaten, und es soll darin ein menschliches Gesicht, eine Sturmentwicklung oder ein Krankheitsbild erkennen. In der Lernphase wird das System mit Eingangsdaten beaufschlagt, und macht daraus eine vorläufige Prädiktion – korrekt oder inkorrekt. Anschließend erhält es ein Feedback in Gestalt von Labels oder Attributen, die den Eingangsdaten vorher zugeordnet wurden. Wenn die erstellte Prädiktion falsch ist, gleicht das ML-System seine Parameter (auch Gewichtungen genannt) neu ab und macht eine neue Vorhersage. Dies geschieht wiederholt und so lange, bis die Parameter so fein abgeglichen sind, dass sie in den meisten Fällen zu korrekten Vorhersagen führen. Im Anschluss an diese Lern- oder Trainingsphase ist das System bereit zum Data Mining, also der Durchsuchung von riesigen Datenströmen, um darin bedeutungstragende Muster zu erkennen. Diesen Prozess nennen wir Inferenz. Was diese ML-Systeme so erfolgreich macht, ist, dass sie relativ wenig an menschlichem Eingriff und Vorverarbeitung des Inputs zu ihrer operativen Feinabstimmung benötigen. Mit dem Feedback aus den zuvor mit Labels versehenen Eingabedaten können sie die benötigten Parameter erlernen, etwa zur Erkennung von Gesichtern. Sie erstellen dazu ein Filter, das früher in mühsamer menschlicher Arbeit kodiert werden musste. Allerdings sind die ML-Systeme in ihrer heutigen Implementierung sehr leistungshungrig, besonders in der Lern- oder Trainingsphase, in der sie immer wieder durch dieselben Datensets gehen müssen. Doch auch in der Inferenzphase, in der die Daten nur einmal durch das System gehen, müssen potentiell Millionen von Gewichtungen berücksichtigt und Milliarden von Berechnungen ausgeführt werden. Das macht auch die Ausführung der Inferenz unerreichbar, wo sie am nützlichsten wäre: an den ‚Fingern und Zehen‘ des IoT-Systems, also dort, wo die Daten abgefühlt und erfasst werden. Um trotzdem die Inferenz an der Edge zu ermöglichen, arbeiten die Imec-Forscher an Hardwarelösungen, die den Energiebedarf für die Inferenz drastisch herabsetzen, auf einen Pegel, der zu autonomen drahtlosen Sensoren passt. Unüberwachtes maschinelles Lernen erfordert im Gegensatz dazu keine menschliche Intervention und Training. Unsupervised ML ist daher so etwas wie der Heilige Gral des Machine Learning. Denn es verspricht Applikationen, die sich auf spezifísche Aufgaben und individuelle Nutzer zuschneiden lassen. Und zwar an Ort und Stelle, ohne zuvor trainierte Parameter. Diese Techniken und Algorithmen sind in gewisser Weise davon inspiriert, wie das menschliche Gehirn arbeitet und lernt. Doch auch hier, sogar noch schwerwiegender als beim überwachten maschinellen Lernen, ist der große Energiebedarf ein Problem. Nicht so sehr in der Cloud, aber auf jeden Fall dort, wo der individuelle Zuschnitt am nützlichsten ist: an der Edge, also in den Sensoren. Eine zusätzliche Herausforderung besteht darin, dass Lernen und Inferenz nicht separiert werden können. Individueller Zuschnitt bedeutet Lernen, und dies muss in den Sensoren stattfinden. Deshalb verlangt dieses Verfahren, sogar mehr noch als Supervised ML, eine spezialisierte Hardware. Auch dieses Thema ist auf der Agenda von Imec. Eine interessanter denkbarer Einsatzfall, an dem die Imec-Forscher derzeit mit Erfolg versprechenden Resultaten arbeiten, sind Wearables für Healthcare-Anwendungen. Dabei sollten sich die Sensoren idealerweise selbst auf die jeweiligen Träger abstimmen können.
Was muss smarte Inferenz können?
Die beim überwachten maschinellen Lernen derzeit dominanten Rechnerplattformen sind GPUs der Spitzenklasse. Sie verbrauchen bis zu 200W. Einige Systeme verwenden auch FPGAs, die meist etwas effizienter im Leistungsverbrauch sind, dafür aber auch eine geringere Performance bieten. Das beste Verhältnis von Performance und Energieverbrauch realisieren einige Asics, mit Prozessoren, die speziell für Deep Learning entwickelt wurden. Doch auch diese verbrauchen immer noch zwischen 50 und 100W. Kein Wunder also, wenn Machine Learning und Inference heute zentralisiert geschehen – in der Cloud. Es ist einfach nicht möglich, einen Chip mit 100W Verlustleistung in einem Handy zu betreiben, und schon gar nicht in IoT-Sensoren, die über viel längere Betriebszeiten mit sehr viel kleineren Energie-Budgets auskommen müssen. Doch gerade die Sensoren sind es, die in Zukunft die meisten Daten erheben werden: in Gestalt von tragbaren Healthcare-Monitoren, in Radarsystemen auf Fahrzeugen und in Spannungssensoren, die in Bauwerke integriert sind. In den meisten Fällen verhindern technische oder energetische Grenzwerte, alle diese Datenströme in die Cloud zu übertragen, wo die KI residiert. Außerdem gibt es Anwendungsfälle, in denen relevante Ereignisse und Entwicklungen sofort erkannt werden müssen. Das gilt für Verkehrsradarsysteme, die Fußgänger oder andere Verkehrsteilnehmer im Fahrweg selbstfahrender Fahrzeuge detektieren müssen. In derartigen Fällen ist die Verzögerung durch eine Übertragung in die Cloud und zurück einfach zu lang. Somit besteht großer Bedarf, das maschinelle Lernen lokal, an der Edge des IoT zu platzieren. Für das Supervised Learning muss dies nicht unbedingt auch die Lernphase einschließen; denn die dabei benötigten Parameter lassen sich genauso gut in der Cloud trainieren. Auf jeden Fall aber gilt dies für die Inferenz, also die smarte Mustererkennung. Sie sollte in der Nähe der Sensoren stattfinden. Die Frage ist, welche Energie-Budgets an den IoT-Knoten verfügbar sind. Applikationen in Fahrzeugen etwa können Chips verwenden, die maximal 10 bis 30W verbrauchen. Im Mobilfunkbereich darf man für die Inferenz maximal 1W ansetzen. Und in IoT-Anwendungen, also für Sensoren am oder im menschlichen Körper liegt die verfügbare Leistung möglicherweise unterhalb von 10mW, oder sogar im Bereich 1mW.
