Ermittlung und Vorgehensweise bei der Handposition

Zur Ermittlung der Hand, wird in im bewegten Bild nach der Hand gesucht und deren Position in Bildschirmkoordinaten ermittelt. Dessen Position wird durch eine Bildmaske beschrieben.
Ein Bildpunkt wird markiert, wenn er Position der Hand zugeordnet werden kann. Zusätzlichwird die Lage des Mittelpunktes der Hand berechnet.

Ich möchte zunächst einmal, den Bereich des Bildes eingrenzen, in dem sich die Hand befindet.
Dazu gibt es eine statistische Suche. Dabei werden die Farbwerte statistisch ausgewählte Bildpunkte mit den Farbwerten der Hand verglichen.
Was zu den Farbwerten der Hand gehört, wird in einem Histogramm bestimmt.
Als Bereich Bs wird nun das Gebiet abgegrenzt, in dem die Dichte der Bildpunkte am höchsten ist.
In diesem Gebiet die eingegrenzt wurde, befindet sich dann auch die Hand.
Der Bereich wird durch einen Startpunkt (xS,yS) und
einen Endpunkt (xE,yE) definiert. Start- und Endpunkt werden in Bildkoordinaten beschrieben.


Bild : Handerkennung & Handermittlung


Wie im obigen Bild zu sehen ist, wurden einige Pixel der Hand identifiziert. Durch eine Segementierung in dem eingegrenzten Bereich BS wird die gesamte Handfläche freigelegt. Dafür wird eine Region Growing-Algorithmus verwendet. Als Startpunkt für den Algorithmus
wird der Mittelpunkt des Bereichs BS gewählt. Ausgehend von diesem Startpunkt werden
die Farbwerte aller Nachbarn mit den Farbwerten verglichen, die als Farbe der Hand
definiert werden. Es wird kein fester Farbwert definiert sondern ein Farbbereich.
Liegt ein Farbwert in dem gesuchten Farbbereich, wird der Bildpunkt in einer Bildmaske markiert.
Jedes Feld in der Maske entspricht einem Bildpunkt im Videobild. Anschließend
werden die weiteren Nachbarn untersucht. Das Verfahren stoppt erst, wenn keine weiteren
Pixel mehr gefunden werden, die dem definierten Wertebereich der Hand entsprechen
oder wenn der Rand des Bereichs BS erreicht worden ist. Das Ergebnis des Region Growing-
Algorithmus ist die segmentierte Fläche der Hand.

Neben der Fläche werden deren Randpixel ermittelt und in der Bildmaske markiert. dadurch
wird die Kontur der Hand ermittelt.

Als nächstes wird kontrolliert, ob die segmentierte Fläche und die Kontur auch die
Hand ist. Dafür werden zwei Merkmale definiert, die Anhand von Regeln überprüft werden:

1. Die Anzahl der segmentierten Pixel im Verhältnis zur Fläche des eingegrenzten Bereichs BS.

2. Die Anzahl der Randpixel im Verhältnis zum Bereich BS.

Entsprechen die Merkmale der segmentierten Flächen den gesuchten Merkmalen, so wird
die Fläche als Hand definiert. Ansonsten wird der Vorgang abgebrochen und erst mit dem
nächsten aufgenommenen Videobild fortgesetzt.

Quelle:
Bild und Verfahren aus dem Beitrag:
Verfahren zur Darstellung von Händen in einer interaktiven Augmented Reality Anwendung.