Kürzlich schloss das F&E-Team von Homsh die dreistufige Kaskadenintegration des binokularen Erfassungsmoduls MD31, der Edge-Computing-Plattform RK3588 und der FPGA-Beschleunigerplatine AXU9EGB ab und veröffentlichte einen technischen Zwischenbericht. Von der Erfassung eines Graustufen-Augenbildes von 640×480 durch die Kamera über die Qualitätsbewertung, die Iris-Lokalisierung, die Merkmalsextraktion, den 1:N-Abgleich bis hin zur Anzeige der Erkennungsergebnisse auf dem Bildschirm – diese gesamte Pipeline läuft nun vollständig über drei Hardwareplatinen.
Für Homsh ist dies mehr als nur ein weiterer erfolgreicher Integrationstest. Es bedeutet, dass wir die Iris-Erkennungsfunktionen, die bisher auf Windows-Industrie-PCs liefen, in eine Edge-Architektur mit geringerem Stromverbrauch, flexibleren Formfaktoren und der Möglichkeit zur Einbettung in verschiedene Endgeräte migriert haben.
Das gesamte System verwendet eine Kaskadenarchitektur: Erfassung und Zuschneiden durch die MD31-Kamera, Zugriff und Übertragung durch RK3588, Inferenz durch AXU9EGB FPGA und visuelles Feedback durch RK3588. Das MD31 gibt zugeschnittene Einzelaugenbilder für das linke und rechte Auge aus; das RK3588 läuft unter Android ARM64 und ist für die binokulare Paarung, die Aufgabenverwaltung und die Netzwerkübertragung zuständig; das FPGA kümmert sich um das Qualitäts-Gate und alle Iris-Algorithmen und sendet die Ergebnisse zur Anzeige zurück an das RK3588.
Diese Arbeitsteilung hat eine tiefere Bedeutung: Die Kameraerfassung und die FPGA-Inferenz sind vollständig entkoppelt und durch eine einheitliche semantische Protokollschicht verbunden. Jedes Set von linken und rechten Augenbildern ist mit einer Betriebs-ID und einer streng aufsteigenden Sequenznummer verknüpft, um Verwechslungen zwischen Vorschau-Frames, Wiederholungs-Frames und Frames von früheren Aufgaben zu vermeiden. Infolgedessen teilen sich sowohl unsere bestehende Windows-Lösung als auch die neue RK3588-Lösung denselben Satz von FPGA-Protokollen und Inferenz-Ergebnisdefinitionen, wobei ein Satz von On-Board-Diensten zwei Generationen von Host-Systemen unterstützt.
Gesamter Datenfluss der dreistufigen Kaskade
Das FPGA gibt den Qualitätsstatus, Kandidatenidentitäten, Ähnlichkeitswerte, Distanzen, Schwellenwerte und Stufenlaufzeiten gemeinsam zurück, wodurch der gesamte Erkennungsprozess für den Benutzer vollständig sichtbar wird.
Der rechenintensivste Teil der Pipeline liegt auf dem AXU9EGB. Basierend auf der Zynq UltraScale+ MPSoC FPGA-Platine und ermöglicht durch Vitis AI 3.0 und DPU-Hardwarebeschleunigung, übernimmt es die vollständige siebenstufige Inferenzpipeline: von der Eingabevalidierung, der Pupillen- und Iris-Lokalisierung mittels eines Sechs-Parameter-Kreismodells, dem Qualitäts-Gate, dem Daugman-Polar-Koordinaten-Entfalten bis hin zur Erzeugung von 512-dimensionalen Iris-Merkmalen durch das IResNet100 Deep Network, dem 1:N-Abgleich nach L2-Normalisierung und schließlich der Rückgabe der Ergebnisse zusammen mit der Latenz pro Stufe.
Die stabile Extraktion von Merkmalen eines hundertschichtigen tiefen Netzwerks auf dem FPGA beruht auf einer strengen Abstimmung zwischen Modellquantisierung, Kalibrierungsdatensätzen und realen Kamerabildverteilungen sowie einem benutzerdefinierten Zero-Copy-Beschleunigungs-Backend für das Kreismodell. Genau das tut Homsh seit 15 Jahren: Algorithmen in Hardware einbetten, damit die Erkennung so nah wie möglich am Gerät stattfindet.
Siebenstufige On-Board-Inferenzpipeline auf FPGA
Bilder, die Qualitätsprüfungen nicht bestehen, werden in der dritten Stufe abgelehnt, wodurch eine verschwendete Merkmalsberechnung vermieden wird. 512-dimensionaler Iris-Merkmalsvektor – 7-stufige On-Board-Inferenzpipeline – 326 bestandene kumulative Tests
In Bezug auf die Nutzungslogik hält sich das System an das Prinzip "strikte Registrierung, flexible Erkennung". Während der Registrierung müssen sowohl die linken als auch die rechten Augen-Templates des Benutzers das Qualitäts-Gate passieren und erfolgreich registriert werden; fehlgeschlagene Frames, doppelte Augen-Seiten und unbekannte Augen-Seiten werden von der Registrierungszählung ausgeschlossen. Bei der Erkennung hingegen werden linkes und rechtes Auge separat inferiert und 1:N gegen die linken und rechten Augen-Templates in der Template-Bibliothek abgeglichen. Ein Treffer von einem einzelnen Abfrage-Augenbild gegen ein beliebiges Template liefert ein Ergebnis – Benutzer müssen nicht beide Augen für das System positionieren; welches Auge erfasst wird, wird verarbeitet.
Qualitätsfehler, vorübergehende Nichtübereinstimmungen oder wiederherstellbare Kommunikationsfehler beenden die Aufgabe nicht abrupt. Das System behält den Aufgabenzustand bei und wartet weiterhin auf den nächsten Satz von Bildern; nach der Wiederherstellung der Verbindung wird es ab der Betriebs-ID und den bestätigten Sequenznummern fortgesetzt, ohne bereits vom FPGA empfangene Frames erneut zu übermitteln. Jeder Schritt der Erkennung – Qualität, Ähnlichkeit, Distanz, Schwellenwert, Latenz – wird an die Schnittstelle zurückgemeldet, wodurch Erfolg, Misserfolg und Wiederholungsversuche für den Benutzer sichtbar werden.
Die Registrierung erfordert vollständige binokulare Templates, während die Erkennung nur einen Treffer von einem der Augen benötigt, was Sicherheit und Benutzererfahrung ausbalanciert.
Worauf wir in diesem Zwischenbericht am meisten stolz sind, ist tatsächlich seine Methodik. Jede Verifizierungsschlussfolgerung ist klar in vier Typen eingeteilt: "Verifiziert" für reproduzierbare Testergebnisse, "Historisch verifiziert" aus früheren Integrationsaufzeichnungen, "Abgeleitet" aus der Implementierungslogik und ehrlich als "Zu verifizieren" für vorübergehend unbestätigte Elemente gekennzeichnet. Alle 176 automatisierten Tests auf der Windows-Basis wurden bestanden, 150 On-Board-Python-Tests wurden bestanden, und die Funktionen für Registrierung/Erkennung und Wiederherstellung der Verbindung wurden integriert – all dies ist im Bericht dokumentiert. Elemente, die noch nicht vor Ort neu getestet wurden, sind ebenfalls klar und unmissverständlich als "Zu verifizieren" in Schwarzweiß gekennzeichnet.
Iris-Erkennung ist das Geschäft der Identität und lässt keinen Raum für "wahrscheinlich in Ordnung". Unsicherheiten schriftlich zu dokumentieren, ist unser Versprechen an unsere Kunden und an uns selbst.
Drei Schlüsselzahlen: 512-dimensionale Merkmale, generiert durch DPU-Beschleunigung; alle 176 automatisierten Windows-Basis-Tests bestanden; 150 On-Board-Python-Testaufzeichnungen bestanden.
Das Gesamteurteil des Berichts ist, dass die aktuelle Lösung die Grundlage für phasenweise Demonstrationen, Integration und Dokumentation gelegt hat, mit klaren Architekturgrenzen und einer technisch machbaren Gesamt-Kaskadenarchitektur. Die nächsten Prioritäten sind ebenso klar: End-to-End-Stabilität, Echtzeit-Bildqualität, Konsistenz der Polar-Koordinaten-Entfaltung und Closed-Loop-Zustandsüberwachung für den Langzeitbetrieb, um die Pipeline von "funktional" zu "stabil und zuverlässig" und dann zu produktionsreifen Produkten zu entwickeln.
Von selbst entwickelten Iris-Erkennungschips über die Software-Hardware-Synergie zwischen Algorithmen und FPGAs bis hin zur heutigen vollständigen Erkennungs-Pipeline, die in Edge-Geräte eingebettet ist, hat Homsh immer geglaubt, dass die Zukunft der Biometrie am Edge liegt. Dieser Zwischenbericht ist ein weiterer Schritt in Richtung dieser Zukunft.
