Neue High-Tech Bildsensoren von Sony

Neue High-Tech Bildsensoren von Sony

Mit zwei Varianten des Intelligent Vision Sensors führt die Sony Corporation die nach eigenen Angaben weltweit ersten Bildsensoren mit KI-Verarbeitungsfunktion ein. Sie können aus großen Dateien nur die für die Nutzung von Cloud-Diensten erforderlichen Daten extrahieren, um die Latenzen bei der Datenübertragung zu verkürzen, Datenschutzvorgaben umzusetzen sowie den Energieverbrauch und die Kommunikationskosten zu senken. Auch zahlreiche Anwendungen im Einzelhandel und in der Industrie sollen durch KI-fähige Kameras mit Intelligent Vision Sensor möglich werden.

Mit der wachsendenVerbreitung des Internets der Dinge (IoT) wächst die Zahl von Geräten, die mit der Cloud verbunden werden. Schon heute erfolgt dort die Verarbeitung von Daten, die von verschiedenen Geräten geliefert werden, mit Anwendung von künstlicher Intelligenz. Dieser Trend stellt alle Beteiligten vor neue Herausforderungen. Dazu gehören Latenzen bei der Datenübertragung, die der Informationsverarbeitung in Echtzeit im Wege stehen und Sicherheitsbedenken der Nutzer, wenn personenbezogene Daten in der Cloud gespeichert werden. Auch der hohe Energieverbrauch, den die Übertragung der großen Datenmengen verursacht, wird im Zuge der Klimaproblematik zunehmend kritsch hinterfragt – ebenso wie die Kommunikationskosten, die durch Cloud-Dienste entstehen.

Der Pixelchip wird auf seiner Rückseite belichtet und hat eine Auflösung von  ca. 12,3 Megapixeln (effektiv). Der Logikchip enthält eben der herkömmlichen Bildsensor-Betriebsschaltung auch den DSP (Digitaler Signalprozessor) von Sony, um die KI-Signale zu verarbeiten. Dazu kommt ein Speicher für das gewählte KI-Modell.

Die neuen Sensoren sind gestapelt („stacked“) aufgebaut und bestehen aus einem Pixelchip und einem integrierten Logikchip, der die künstliche Intelligenz zur Bildanalyse und Bildverarbeitung enthält. So wird das Signal, das der Pixelchip erfasst, durch die KI sofort im Sensor verarbeitet, ohne dass der Einsatz von (stromfressenden) Hochleistungsprozessoren oder (teuren) externen Speicherkapazitäten nötig ist.

Auf diese Weise soll die Entwicklung von Edge-AI-Systemen möglich werden, bei denen der Sensor anstelle von Bildinformationen nur Metadaten ausgibt, die z. B. aus semantischen Informationen über den Bildinhalt bestehen. Dadurch werden erheblich kleinere Datensätze übertragen; gleichzeitig wird der Datenschutz deutlich verbessert. Zudem ermöglicht die Technologie durch die extrem schnelle Datenverarbeitung mit KI neue Anwendungen wie z. B. die Objekterkennung und -verfolgung in Echtzeit. Je nach Einsatzzweck können auch andere KI-Modelle genutzt werden. Dazu wird einfach der interne Speicher so neu beschrieben, wie es nötig ist, damit das System den gewünschten Zweck erfüllt.