W ostatnim dziesięcioleciu pojawilo się wiele innowacji w dziedzinie HCI, obejmujących urządzenia dotykowe, a także inne formy interakcji wprowadzone po raz pierwszy przez Nintendo Wii. Ta książka przedstawia inną formę HCI jako alternatywę - używanie palców do bezpośredniego manipulowania obiektami na ekranie. Pilot Wii to kluczowe urządzenie, które w polączeniu ze źródlem światla podczerwonego umożliwia śledzenie palca i umożliwia taką formę interakcji. Projekt bada eksperymentalne konfiguracje i metody, a także przedstawia możliwe metody rozpoznawania gestów przy użyciu tego podejścia do śledzenia. W tej książce opisuję, w jaki sposób można zaimplementowac system HCI za pomocą pilota Wii, który umożliwia manipulowanie obiektami na ekranie za pomocą prostych, dynamicznych gestów oraz jak można go rozszerzyc o rozpoznawanie symboli symbolicznych przy użyciu modelowania wyższego poziomu. Zaproponowany i wdrożony silnik rozpoznawania gestów wykorzystuje modelowanie dynamiki dla gestów manipulacji i jest oparty na skończonej strukturze maszyny stanów dla gestów symbolicznych.
