Ermittlung und Vorgehensweise bei der Handposition

Zur Ermittlung der Hand, wird in im bewegten Bild nach der Hand gesucht und deren Position in Bildschirmkoordinaten ermittelt. Dessen Position wird durch eine Bildmaske beschrieben.
Ein Bildpunkt wird markiert, wenn er Position der Hand zugeordnet werden kann. Zusätzlichwird die Lage des Mittelpunktes der Hand berechnet.

Ich möchte zunächst einmal, den Bereich des Bildes eingrenzen, in dem sich die Hand befindet.
Dazu gibt es eine statistische Suche. Dabei werden die Farbwerte statistisch ausgewählte Bildpunkte mit den Farbwerten der Hand verglichen.
Was zu den Farbwerten der Hand gehört, wird in einem Histogramm bestimmt.
Als Bereich Bs wird nun das Gebiet abgegrenzt, in dem die Dichte der Bildpunkte am höchsten ist.
In diesem Gebiet die eingegrenzt wurde, befindet sich dann auch die Hand.
Der Bereich wird durch einen Startpunkt (xS,yS) und
einen Endpunkt (xE,yE) definiert. Start- und Endpunkt werden in Bildkoordinaten beschrieben.


Bild : Handerkennung & Handermittlung


Wie im obigen Bild zu sehen ist, wurden einige Pixel der Hand identifiziert. Durch eine Segementierung in dem eingegrenzten Bereich BS wird die gesamte Handfläche freigelegt. Dafür wird eine Region Growing-Algorithmus verwendet. Als Startpunkt für den Algorithmus
wird der Mittelpunkt des Bereichs BS gewählt. Ausgehend von diesem Startpunkt werden
die Farbwerte aller Nachbarn mit den Farbwerten verglichen, die als Farbe der Hand
definiert werden. Es wird kein fester Farbwert definiert sondern ein Farbbereich.
Liegt ein Farbwert in dem gesuchten Farbbereich, wird der Bildpunkt in einer Bildmaske markiert.
Jedes Feld in der Maske entspricht einem Bildpunkt im Videobild. Anschließend
werden die weiteren Nachbarn untersucht. Das Verfahren stoppt erst, wenn keine weiteren
Pixel mehr gefunden werden, die dem definierten Wertebereich der Hand entsprechen
oder wenn der Rand des Bereichs BS erreicht worden ist. Das Ergebnis des Region Growing-
Algorithmus ist die segmentierte Fläche der Hand.

Neben der Fläche werden deren Randpixel ermittelt und in der Bildmaske markiert. dadurch
wird die Kontur der Hand ermittelt.

Als nächstes wird kontrolliert, ob die segmentierte Fläche und die Kontur auch die
Hand ist. Dafür werden zwei Merkmale definiert, die Anhand von Regeln überprüft werden:

1. Die Anzahl der segmentierten Pixel im Verhältnis zur Fläche des eingegrenzten Bereichs BS.

2. Die Anzahl der Randpixel im Verhältnis zum Bereich BS.

Entsprechen die Merkmale der segmentierten Flächen den gesuchten Merkmalen, so wird
die Fläche als Hand definiert. Ansonsten wird der Vorgang abgebrochen und erst mit dem
nächsten aufgenommenen Videobild fortgesetzt.

Quelle:
Bild und Verfahren aus dem Beitrag:
Verfahren zur Darstellung von Händen in einer interaktiven Augmented Reality Anwendung.

Rahmenbedingung

Für die Realisierung des Spiels PONG, die nur mit Hilfe der Hand über die WebCam gesteuert werden soll, möchte ich erst einmal, die Rahmenbedingungen festlegen.
Mit dem Einsatz von Algorithmen und Techniken der Bildverarbeitung und mit Hilfe der Webcam, die Hand als Hand zuerkennen und anschließend durch die „erkannte“ Hand und Bestimmung der Position der Hand, den Balken des Spiels PONG, in Echtzeit über die Hand zusteuern.
Im ersten Schritt, möchte ich die Rahmenbedingung in einfachster Form festlegen und nach erfolgreicher Realisierung diese erweitern.
Für eine gelungene Bildaufnahme bzw. zum Erkennung der Hand möchte ich folgende Bedingungen aufstellen.

• Die Hand des Spielers muss sich im Rahmen der Aufnahmebereichs befinden.
• Die Handfläche sollte in Richtung der Camera bewegt werden.
• Für den Anfang möchte ich einen eintönigen Hintergrund auswählen, womit die Hand einfacher zu bestimmen ist.

Am Anfang der Realisierungsphase, werde ich mich Beispielsweise für eine eintönige Hintergrundfarbe entscheiden, die nicht mit der Hautfarbe identisch ist. Dies könnte beispielsweise die Farbe blau oder grün sein.
Nach erfolgreichem Testergebnissen, möchte ich diese dann erweitern auf alle möglichen Hintergründe.

Interessant wird es bei der Frage, wie ich die Hand als Hand erkennen will. Dazu gibt es verschiedene Bildverarbeitungsalgorithmen. Eine Möglichkeit die ich einsetzen möchte, ist die Erkennung der Hand durch Farbwertebestimmung.
Probleme die bei dieser Methode entstehen können, ist beispielsweise die, das sich die Hand des Spielers, unmittelbar vor dem Gesicht des Spielers befinden würde. In so einer Situation, müsste man die Hand von dem Gesicht unterscheiden können.

Projekt Start: PONG-Spiel – Lenken der Balken per Hand über die Webcam

Im Studienfach - Bilderkennung - haben wir die interessante Aufgabe bekommen, das PONG-Spiel soweit aufzubauen, dass die Balken im Spiel PONG ausschließlich per Hand über die WebCam gesteuert werden können. Als technische Hilfsmittel, steht uns lediglich eine WebCam (Standard) zur Verfügung. Der Einsatz des WebCams soll dazu dienen, dass die Hand als Hand erkannt wird. Das bewegte Bild muss ständig bewertet werden. Wichtig ist hier die Frage, wo befindet sich gerade die Hand im bewegten Bild? Wie unterscheide ich die Hand vom Gesicht oder anderen Objekten, die sich im Rahmen der bewegten Bilder befinden können. Durch Bewegung der Hand (nach oben, nach unten, nach links, nach rechts) sollte der Balken im Spiel mit bewegt werden. Mit dieser Vorgehensweise, sollte es möglich sein, das Spiel nur mit der Hand zu steuern, ohne das Maus, Joystick oder Tastatur eingesetzt wird.


BILD 1: Aufbau

Um diese Aufgabe zu bewältigen, werde ich zunächst einmal recherchieren um herauszufinden, welche Techniken, wie beispielsweise Algorithmen, Formeln, Vorgehensweisen u. a. im Bereich Bilderkennung eingesetzt werden. Diese neuen Erkenntnisse, werden mir sicherlich bei meiner Lösungsfindung behilflich sein. Noch bin ich am Anfang meiner Recherchen und habe keine Kenntnisse über die eingesetzten Techniken in der Bilderkennung. Ein wichtiger Aspekt, ist auch noch die, dass wir hier die Hand in bewegten Bildern erkennen müssen und das erkannte Bild, so übersetzen, dass wir damit den Balken des Spiels PONG in Echtzeit steuern können.

Willkommen

Willkommen auf meiner Seite. Ich möchte mich kurz vorstellen. Ich heiße Hafize Demir und bin Diplom-Informatikerin. Ich befinde mich derzeit im Masterstudiengang Barrierefreie Systeme mit dem Schwerpunkt -Intelligente Systeme- an der Fachhochschule in Frankfurt am Main. Sicherheitskritische Systeme, Mensch-Maschine-Interaktion (MMI), Realzeitsysteme, Sensorik, Aktorik, Spracherkennung, Bilderkennung, Wissen und interdisiplinärer Projekt gehören zu meinen Studieninhalten. Hier auf meiner Seite werde ich Analysen, Forschungen und Ergebnisse meiner Projekte veröffentlichen. Dann mal viel Spass auf meiner Seite....

Kommentare, Anregungen und Lösungsvorschläge sind jederzeit erwünscht.

Liebe Grüsse

Hafize Demir