2. Test und Performanzermittlung

Es existiert kein offiziell standardisiertes Vorgehen zum Testen biometrischer Systeme. Daher liegt es nahe, gewisse Richtlinien zu erstellen, nach denen solche Systeme getestet und gemessen werden können, um Vergleiche zwischen verschiedenen Technologien und Implementierungen ziehen zu können.
Natürlich ist nicht immer das Vorgehen in der hier dargestellten Form sinnvoll. Die hier besprochenen ``Richtlinien'' sollen lediglich dabei helfen, systematische Tests durchzuführen und es erleichtern, Gründe für Abweichungen und deren Effekte zu erklären.

2.1 Performanz

Der Begriff Performanz im Zusammenhang mit dem Testen von biometrischen Systemen umfasst einiges mehr, als man beim direkten Verständnis dieses Begriffes nahelegt. Die Gesamtperformanz eines biometrischen Systems wird von mehreren, nicht nur zeitlichen Faktoren beeinflusst.
Vor allem Fehlerraten sind eine wichtige Bewertungsgrundlage der Gesamtperformanz eines biometrischen Systems. Dabei werden nicht nur die algorithmischen Verfahren bewertet, sondern auch das Zusammenspiel zwischen den verschiedenene beteiligten Ein- und Ausgabegeräten.

2.2 Evaluierung

Im folgenden Kapitel werden drei Typen von Evaluierungen biometrischer Systeme vorgestellt: technologische, Szenario-basierte und operative Evaluierung.

2.3 Planung

Vor der Durchführung der Testreihen sollte man genau festlegen, was man erreichen will und welche Ziele man verfolgt.

2.3.1 Gegebenheiten feststellen

Folgende Fragen helfen bei der Ermittlung technischer Gegebenheiten.

Sind Protokollierungsfunktionen vorhanden? Wenn nicht, müssen Informationen manuell erfasst werden.
Speichert das System Bilder oder Merkmale einer Transaktion? Für eine Offline-Auswertung ist das notwendig.
Generiert das System Ja/Nein Entscheidungen oder vergibt es Bewertungspunkte? Im ersteren Fall müssten für verschiedene Sicherheitsstufen Testreihen durchgeführt werden, um aussagekräftige DET-Kurven5.5 zu erhalten.
Generiert das System unabhängige Templates?
Ist das ``Software developer's Kit'' (SDK) verfügbar? Für Offline-Erzeugung von echten und gefälschten Bewertungspunkten werden Module des SDK benötigt: (i) für die erzeugung von Templates aus den protokollierten Daten. (ii) zur Extraktion von Merkmalen aus den Daten und (iii) zur Erzeugung von Bewertungspunkten zwischen extrahierten Merkmalen und gespeicherten Templates. Bewertungspunkte sollten im Offline-Betrieb diesselben Ergebnisse erzielen wie im Online-Betrieb (bei gleichen Eingaben)
Welche Auflösung bzw. Genauigkeit sollte für die Sensoren gewählt werden?
Sind ungefähr die zu erwartenden Fehlraten bekannt? Dies hilft bei der Bestimmung des Testumfangs und der beteiligten Kandidaten.
Welche Faktoren beeinflussen die Performanz des Systems?

2.3.2 Größe und -bevölkerung

Für das simulieren realer Bedingungen ist eine gute Auswahl an repräsentativen Benutzern notwendig. Dabei sollte auf die Gegebenheiten des zu simulierenden Systems Rücksicht genommen werden.
Bei der Entscheidung, wie viele Testpersonen an der Durchführung beteiligt werden sollen, muss auf die vorhandenen Kapazitäten Rücksicht genommen werden. Oft ist es auch möglich, mehrere Vorgänge pro Person zuzulassen, z.B. mehrere Finger pro Person mit einzubeziehen. Für die statistische Signifikanz (siehe Kapitel 5.6) muss ebenfalls eine gewisse Masse an Testmaterial vorhanden sein.

Performanzermittlung, 29. Jan 2004

Menü

Home
Funstuff
Linux
Hardware
Distributionen
Spiele
Kontakt
Projekte
Java
Webcut
Strength and Honor
A-Mobile
Holy-Wars 2
Holy-Wars 3
-> Dokumentation
-> Biometrie
-> Performanzermittlung
Mmpg
Mmpg-peer to peer
Javadoc
Mmpgp2p-Server
Semantic Web
WSA