Wie in jeder Software stecken auch in der Firmware von IoT-Geräten Fehler. Laut Schätzungen entstehen bei der Entwicklung eingebetteter Software typischerweise 50 bis 100 Fehler pro 1.000 Codezeilen; etwa drei bis fünf dieser Fehler werden beim Testen übersehen und landen somit in der endgültigen Geräte-Firmware. Das liegt daran, dass es praktisch unmöglich ist, jedes Ausführungsszenario und jeden Code-Pfad in Multi-Threaded-Firmware zu testen. Auch steigt der Aufwand, der erforderlich ist, um den letzten verbleibenden Softwarefehler zu finden, in der Regel exponentiell an.
Die Fehlerbehebung ist teuer
Eine kürzliche Umfrage des Marktforschungsunternehmens VDC Research ergab, dass eingebettete Geräte-Firmware im ersten Jahr nach Einsatz durchschnittlich 79 Software-Patches benötigt. Die durchschnittlichen Kosten für das Debuggen, die Fehlerkorrektur und die Bereitstellung lagen bei über 5.000 Dollar pro Patch. Das sind insgesamt mehrere hunderttausend Dollar an Supportkosten pro Projekt, allein im ersten Jahr. Noch gravierender ist, dass viele dieser Patches Fehler beheben, über die sich der Kunde bereits seit geraumer Zeit ärgert. Die im VDC-Bericht genannten Kosten pro Patch berücksichtigen keine Faktoren, wie die Schädigung der Kundenbeziehungen, schlechte Produktbewertungen oder entgangene Verkaufschancen, die einen noch viel größeren Einfluss auf das Geschäft haben können als die direkten Kosten für die Fehlerbehebung.
Umgehende Fehlermeldung
Cloud-basierte IoT-Plattformen wie AWS IoT Core bieten Embedded-Entwicklern neue Möglichkeiten der nachträglichen Beseitigung von Firmware-Fehlern. Mit AWS IoT Core können IoT-Geräte mit Cloud-Anwendungen und anderen Geräten interagieren. Die Plattform unterstützt verschiedenste Geräte und kann Billionen von Nachrichten zuverlässig und sicher verarbeiten und an AWS-Endpunkte und andere Geräte weiterleiten, selbst wenn gerade kein Internet-Zugang besteht. Tritt ein neuer unbekannter Fehler in der Firmware auf, wird der Entwickler direkt über den Cloud-Service informiert. Dabei enthält der Fehlerbericht detaillierte Software-Traces, die genau zeigen, was in der Firmware kurz vor dem Auftreten des Fehlers geschah. Sobald der Fehler behoben wurde, kann der Patch automatisch über die Cloud als Over-the-Air (OTA)-Update implementiert werden, was sowohl schneller als auch zuverlässiger ist, als Kunden zu bitten, den Patch manuell herunterzuladen und zu installieren. Percepio stellt für diesen Prozess drei Komponenten zur Verfügung: Percepio DevAlert Firmware Agent, Percepio DevAlert Classification Engine, Percepio Tracealyzer.
Percepio DevAlert Firmware Agent
Der DevAlert Firmware Agent ist eine kompakte Softwarebibliothek, die Geräteentwickler in ihre RTOS-basierte IoT-Anwendung einbetten. Dieser Agent verhält sich in etwa wie ein Flugschreiber und ist für zwei Firmware-Überwachungsaufgaben zuständig: Er zeichnet die jüngsten Software-Ereignisse auf und bietet aufgrund eines speziellen Fehlerbehandlungscodes die Möglichkeit, alle festgestellten Fehler zu melden. Wird ein Fehler entdeckt und gemeldet, beispielsweise eine fehlgeschlagene Assert-Bedingung, liefert ein Bericht wichtige Informationen und Diagnosedaten. Dieser Fehlerbericht, Alert genannt, wird dann über die bestehende AWS IoT Core-Verbindung in das Konto des Entwicklers hochgeladen. Falls die Verbindung im Moment nicht verfügbar ist (z.B. aufgrund des gemeldeten Fehlers), kann der Alert stattdessen im Flash-Speicher gespeichert und nach Wiederherstellung der Verbindung hochgeladen werden.
Percepio DevAlert Classification Engine
Alerts werden zunächst in einem Amazon Simple Storage Service (Amazon S3)-Bucket im Konto des Entwicklers gespeichert. Die Symptome werden dann an die DevAlert Classification Engine weitergeleitet. Dabei handelt es sich um einen vollständig verwalteten Dienst, der von Percepio gehostet wird und auf AWS läuft. Alle Trace-Daten verbleiben im Konto des Geräteentwicklers. Die DevAlert Classification Engine untersucht Fehlercodes und alle anderen Symptome, die vom Firmware-Agenten bereitgestellt werden, und benachrichtigt die Entwickler im Falle eines neuen bisher unbekannten Problems, d.h. einer neuen Kombination von Symptomen. Die Benachrichtigung der Entwickler läuft über den Amazon Simple Notification Service (SNS) und geschieht in der Regel per E-Mail. Die gewünschte Einstellung kann in der DevAlert-Konsole konfiguriert werden.
Visuelle Trace-Diagnose zur schnellen Fehlerbehebung
Tracealyzer ist eine Desktop-Software zur visuellen Trace-Diagnose, die Entwicklern in detaillierten Ansichten und Übersichten zeigt, was in der Firmware kurz vor dem Auftreten eines Fehlers geschah. Eine physikalische Debugverbindung ermöglicht es, Tracealyzer im Streaming-Modus zu verwenden und lange Traces aufzuzeichnen – über mehrere Minuten oder sogar Stunden, falls erforderlich.
Sicherheit von Anfang an eingebaut
Percepio DevAlert befolgt AWS Best Practices bei der Authentifizierung und Verschlüsselung, wodurch Kundendaten geschützt bleiben. Dank der Verwendung von bestehenden sicheren Kommunikationsprotokollen wie MQTT über TLS werden auch keine zusätzlichen Angriffsflächen freigelegt. Entwickler können das integrierte Software-Tracing nutzen, um alle relevanten Informationen in der Firmware zu protokollieren. Da es sich dabei gegebenenfalls auch um sensible Informationen handeln kann, wurde die DevAlert Classification Engine so konzipiert, dass sie keine Analyse der Trace-Daten vornehmen muss. Die Trace-Daten verlassen zu keinem Zeitpunkt das Konto des Entwicklers.
Zusammenfassung
Bei der Entwicklung von DevAlert hat Percepio eng mit diversen Herstellern von IoT-Boards zusammengearbeitet, darunter STMicroelectronics und Cypress Semiconductor. Mit Percepio DevAlert und AWS IoT Core können Geräteentwickler komplexe IoT-Firmware mit der Gewissheit einsetzen, genauen Einblick in das reale Verhalten ihrer Geräte-Firmware zu erhalten und bei Bedarf OTA-Updates bereitstellen. Dadurch lassen sich die Kosten für den Support von IoT-Geräten senken, die Zahl der von Fehlern betroffenen Anwender minimieren und die Kundenerfahrung insgesamt verbessern.
Von Johan Kraft, PhD, CEO und Gründer von Percepio
(Dieser Artikel basiert auf einem englischen Original, das erstmals als AWS Partner Network (APN) Blog erschienen ist.)
