Softwareinstallation & Test

Nach dem ich die Software OpenCV und HandVU nach der Installationsanleitung installiert habe, war der nächste Schritt, das Testen der Software.
Hierzu sollte zunächst, die WebCam angeschlossen sein. Die WebCam sollte eine Auflösung von 320x240 Pixel oder eine höhere Auflösung haben.

Nach dem die WebCam angeschlossen ist, kann das Programm HandVU_OpenCV gestartet werden.
Nach dem Starten der Software, erscheint das Kamerabild und ein großes Rechteck, in der die Hand positioniert werden muss, bis die Hand erkannt wird.
Dabei sollte man den Handrücken, der rechten Hand, in das Rechteck platzieren, da diese Handposition am besten erkannt wird.



In den weiteren Bilder wird ersichtlich, wie die richtige Handstellung sein sollte, um die Handgestenerkennung zu gewährleisten:

Man sollte auf gute Lichtverhältnisse im Raum achten.
Der Raum darf weder zu dunkel, noch zu hell sein. Durch Sonnenschein, wird beispielsweise, die Erkennung der Hand durch die WebCam beeinträchtigt.
Auch Hautfarbeähnliche Hintergründe sollte man vermeiden.
In meinen Tests habe ich festgestellt, dass beispielsweise helle Holztüren als Hintergrund, nicht für den Einsatz von HandVU geeignet sind.
Bei dunklen Hintergründen wurde die Hand sehr schnell erkannt.

Die Hand wird erst erkannt, wenn das große Rechteck verschwindet und auf der erkannten Hand, weiße Punkte verteilt werden.
Dabei ist der große weiße Punkt, der Mittelpunkt des Recheckes.

Nun wird beim bewegen der Handrücken, die Hand mit den weißen Punkten mitverfolgt.
Jetzt hat man die Möglichkeit, die Hand durch sehr schnelles drehen, mit der Handinnenfläche in Richtung der Kamera zu zeigen.

Man hat auch die Möglichkeit, die Hand durch andere Objekte auszutauschen. Beispielsweise habe ich das mit einer Tasse aus Glas(siehe u. Bild) ausprobiert. Die Objektverfolgung der Tasse, hat sehr gut funktioniert.

Das bedeutet aber nicht, dass das Objekt beim Programmstart von HandVU eingesetzt werden kann. Da muss weiterhin die Hand vor die WebCam gehalten werden, bis die Handfläche erkannt wird.

Die Hand wird auch dann sehr gut erkannt, wenn sich im Hintergrund Personen bewegen.

Bilder der Testergebnisse:

Webseite:

http://www.movesinstitute.org/~kolsch/HandVu/doc/index.html

Aktueller Stand und weitere Vorgehensweisen

Kurzbeschreibung:

Mit Hilfe einer USB-Kamera und HandVU OpenCV werden die Handbewegungen erfasst und anhand der ermittelten x,y-Koordinaten der Hand, die Balken des Spiels „PONG“ per Handbewegung gesteuert.

Projektplan bis Semesterende:

[1] Installation der Software HandVU & OpenCV
[2] Testen der Installierten Software
[3] Analyse in OpenCV, HandVU und Programmierung mit C++
[4] Ermittlung der Handposition und ankoppeln mit dem Spiel „PONG“
[5] Verbesserung der Performance eventuelle Änderungen anpassen

Einsatz von HandVU & OpenCV

Die Software HandVU, implementiert eine Sammlung Vision basierte Schnittstellen, für die Erkennung der Handgeste.
Bei der Erkennung der Handgeste, wird die Hand in Realzeit erkannt.
Das Softwarepaket von HandVU besteht aus den wichtigsten HandVU Bibliotheken und mehreren Anwendungen, die mit dem Einsatz von OpenCV ermöglicht wird.
Wie im vorherigen Beitrag schon vorgestellt, ist OpenCV eine
freie Bibliothek für Bilderkennung. Die Bibliothek enthält eine Vielzahl von nützlichen Algorithmen für Tracking, Segmentierung etc.

HandVU beruht auf einen Client-Server-Ansatz, die einen Hand-Gesten-Server zu Verfügung stellt. Nach dem man sich auf diesen Server eingeloggt hat, empfängt man für jedes von HandVU berarbeitet Bild der Kamera die Handkoordinate (x,y), sowie die momentane Handgeste.

Ein Beispiel Einsatz von HandVU, ist die Handgestenerkennung, zur Kontrolle einer Multimedia Plattform, die von Philips Applied Technologies in Eindhoven/Niederlande entwickelt wurde. Dabei handelt es sich um ein Handzeichen gesteuerte 3D GUI.

Einen Eindruck von dieser Entwicklung, kann man sich unter dem folgenden Link machen:

http://www.schroeder-wendt.com/blog/2006/09/25/diesmal-nix-zum-anfassen-handgesten-erkennung-zur-kontrolle-einer-multimedia-plattform/

Den Einsatz von HandVU, finde ich für die Realisierung des Projektes als sehr angebracht, da neben der Handgestenerkennung, auch die Handposition als x,y-Koordinate ermittelt wird.
Da die Gestenerkennung sehr viel an Ressourcen verbraucht, werde ich die Funktion der Gestenerkennung nicht in Anspruch nehmen.

Die ermittelten x,y-Koordinatenwerte aus der Handposition, werde ich mit dem
x,y-Koordinaten der Spielbalken, aus dem Spiel PONG koppeln, die dann durch Handbewegung in Realzeit angesteuert werden soll.

Installationsanleitung für HandVU:

http://www.movesinstitute.org/~kolsch/HandVu/doc/InstallationWindows.html