Der Oktopus-Butler-Roboter
Was ist denn nun mit der aktiven Haptik, also mit Instrumenten, die nicht nur fühlen, wie sich der eigene Körper bewegt, sondern auch Kraft, Widerstand, Hitze, Schärfe und andere Berührungsreize vermitteln können?
Bei Haptik-Experimenten in den siebziger Jahren hatte man riesige, furchterregende Roboterarme eingesetzt, die programmiert wurden, um so Ereignisse in einer virtuellen Welt vermitteln zu können. Fred Brooks arbeitete in Chapel Hill mit diesen massiven Metalldingern. Oft wurden sie an der Decke angebracht, ähnlich wie Ivan Sutherlands frühe Displays.
Ein Roboterarm ist aktiv. Er kann beispielsweise vermitteln, dass ein virtuelles Objekt ein Hindernis ist. Man bewegt den Arm, der Arm bewegt einen Cursor oder ein virtuelles Gerät oder vielleicht sogar die Hand eines Avatars. Wenn die virtuelle Verlängerung der Hand ein Hindernis erreicht, etwa die Platte eines virtuellen Schreibtischs, weigert sich der Roboter, durch die Platte zu stoßen. Aufgrund der tatsächlichen Wahrnehmung (die also nicht abgeleitet oder synästhetisch ist) fühlt sich das an, als ob man auf eine wirkliche Platte trifft. Das Gehirn verwebt das haptische Signal vom Roboter mit dem Bild der Computergraphik vom Schreibtisch, den man sieht, und wenn man sich dem nicht gezielt widersetzt, hat man das Gefühl, den Schreibtisch zu berühren.
Wenn das haptische Instrument gut funktioniert, spürt man beim Versuch, gegen einen virtuellen Sitzsack zu boxen, ein weiches, knirschendes Nachgeben anstelle des harten, endgültigen Widerstands der Schreibtischplatte. Und wenn man ein virtuelles Gewicht stemmt, kann der Roboterarm die echte Hand nach unten ziehen, um die Schwerkraft zu simulieren.
Man spricht in diesem Zusammenhang von »Force Feedback« oder Kraftrückkopplung. Ich habe das einfacher dargestellt, als es tatsächlich ist. Es ist immer eine enorme Herausforderung, die Latenz zu reduzieren (also die Verzögerungszeit zwischen »Eingabe« und »Ausgabe«) und die Genauigkeit zu verbessern, ähnlich wie bei der visuellen Wahrnehmung in der VR, doch damit beginnen erst die eigentlichen Probleme. Irgendwo muss man den Roboter befestigen, und zwar so, dass die Vorrichtung auf keinen Fall jemanden verletzt, selbst wenn sie dumm programmiert wurde.
Die Wahrnehmung der Kraftrückkopplung ist faszinierend, weil der gesamte Körper einbezogen wird. Wenn man sich auf einer Schreibtischplatte abstützt, sei sie nun real oder virtuell, spürt das der ganze Körper. Wenn man steht, passt sich der gesamte Körper an, nimmt den Widerstand der Schreibtischfläche wahr und arrangiert sich damit. Wenn man sitzt, passen sich Arme und Rücken an. Man spürt die eigene Körperhaltung und die Belastung, die diese beeinflusst, mittels einer haptischen Erfahrung, die »Propriozeption« genannt wird, sowie mittels der Tastempfindung der Körperteile, die sich abstützen.
Die Kraftrückkopplung ist ein Spezialbereich der VR, der seit vielen Jahren kommerziell genutzt wird. Das hier ist ein persönliches Buch und keine Darstellung des gesamten Fachgebiets, daher werde ich nicht alles und jeden erwähnen, sondern nur kurz auf meinen Lieblingswissenschaftler im Bereich Kraftrückkopplung eingehen: Ken Salisbury von der Stanford University. Ein Gerät, das er mit erfunden hat, das »Phantom«, ist seit Jahren ein fester Bestandteil von VR-Systemen. Ein handlicher, desktop-freundlicher Roboterarm, mit dem man einhändig ein virtuelles Instrument steuern kann.
Derartige Kraftrückkopplungssysteme werden häufig im medizinischen Bereich angewandt, etwa wenn ein stiftähnliches Instrument als echtes Instrument fungiert, beispielsweise als Skalpell. Genau das wird bei OP-Simulatoren gemacht.
Ein Chirurg hat mich einmal einen Teil einer Laser-Operation an meiner eigenen Netzhaut durchführen lassen. Ich hatte an der Entwicklung des Geräts mitgewirkt. Natürlich war das streng verboten, ich werde daher keine Namen nennen.
So wunderbar Kraftrückkopplungssysteme sind, sie haben auch ihre Grenzen. Zum einen müssen sie irgendwo verankert werden, es ist also schwierig, sie zu nutzen, wenn man sich gleichzeitig bewegt. Man könnte sich vorstellen, Kraftrückkopplungssysteme auf Robotern anzubringen, die neben einem hergehen, stets bereit, sich dem jeweiligen Menschen zuzuwenden und dessen Hand zu begegnen. Oder der komplette Fußboden bewegt sich, damit der Roboter an Ort und Stelle bleiben kann. Wir haben beide Varianten ausprobiert. Beide sind problematisch.
Wie auch immer, Ken und ich sowie ein paar andere aus unserem Team, darunter Henry Fuchs, nannten das die »Butler-Strategie«.
Und die funktionierte so: Stellen Sie sich vor, Sie befinden sich in einer virtuellen Welt und möchten mit der Hand auf eine virtuelle Schreibtischplatte schlagen. Und stellen Sie sich weiter vor, dass in der Nähe ein aufmerksamer Roboter herumwuselt. (Natürlich sehen Sie den Roboter nicht, Sie schauen ja nur auf die virtuelle, computergenerierte Welt.) Der Roboter hat einen Arm ausgestreckt und hält ein Tablett, wie ein Butler. Wenn Sie anfangen, die Hand zu senken, berechnet der Roboter, dass sie auf die virtuelle Schreibtischplatte schlagen wollen. Der Roboter eilt rechtzeitig herbei, hält das reale Tablett genau an die Stelle, wo sich die virtuelle Schreibtischplatte befindet, und schafft so für Sie die Illusion, dass die Schreibtischplatte schon die ganze Zeit da war.
Eventuelle Sicherheitsfragen schieben wir für einen Moment beiseite. Es handelt sich hier nur um ein Gedankenexperiment.
Wenn Sie die Finger über die Oberfläche des Tabletts gleiten lassen würden, wären Sie schon bald am Rand des Tabletts angelangt, da das Tablett klein genug sein müsste, damit es gefahrlos hin und her bewegt werden kann. Ein Schreibtisch kann hingegen ziemlich groß sein. Der Butler-Roboter müsste also das Tablett bewegen und Ihrer Hand folgen, damit die Oberfläche größer wirkt, als sie tatsächlich ist. Allerdings würde sich das anders anfühlen, als wenn nur Ihre Finger über die Oberfläche gleiten.
Das bringt uns zu einem weiteren Aspekt der Haptik: dem Tastsinn. Diese Empfindung kommt von den Sinneszellen in der Haut. Das taktile Feedback ist erstaunlich, denn dabei handelt es sich um ein ganzes Ökosystem verschiedener Sinne. Es gibt viele verschiedene Sinneszellen in der Haut. Einige erspüren Wärme, andere scharfe Gegenstände, wieder andere Flexibilität, außerdem gibt es häufig Varianten, die nur Veränderungen wahrnehmen, nicht jedoch die Zustände an sich.
Manche Sinneszellen reagieren auf Strukturen, wenn man mit den Fingern über ein Objekt fährt. Und jetzt kommt’s: Um den für Strukturen empfänglichen Sinneszellen die Empfindungen zu vermitteln, die diese erwarten, muss das Tablett, das der Butler-Roboter hält, eine Oberflächenbeschichtung haben, die sich in jede Richtung verschiebt. Nur so ist der Eindruck von Reglosigkeit möglich, wenn sich das Tablett bewegt – was es tun muss, um eine größere Oberfläche zu simulieren. Ich weiß, es ist schwierig, sich diesen Mechanismus vorzustellen oder ihn anhand einer bloßen Beschreibung zu verstehen. Selbst professionelle VR-Forscher scheitern beim Versuch, sich nicht von den von uns gebauten Gräten verwirren zu lassen, die das Gegenteil dessen tun, was man eigentlich erwartet.
Wie auch immer: Was wäre, wenn die Finger einen Samowar erspüren sollen oder, schlimmer noch, ein Huhn? Ein Samowar hat geschwungene Oberflächen, der Roboter müsste also Stellen zum Berühren anbieten, die diesen Wölbungen entsprechen und ihnen folgen. Wie macht man das?
Die Natur liefert uns dazu einige Hinweise. Es gibt Tiere, die auf bemerkenswerte Weise ihre Gestalt ändern können, zum Beispiel der Karnevalstintenfisch. Also versuchten Ken und ich einen Roboter zu bauen, der den Karnevalstintenfisch – diesen Meister der Nachahmung – nachahmt. Ein Roboter also, der schnell und unauffällig zahllose Formen annehmen kann.
Er würde auch den Teil des Samowars nachahmen, den Sie gleich berühren wollen. Ihr Gehirn würde glauben, dass der ganze Samowar da wäre.
Bestimmte Kopffüßer (quasi die Elite) können die Oberfläche und Farbe ihrer Haut verändern, um zur Tarnung unterschiedliche Strukturen und Muster anzunehmen. Wir haben heute synthetische Materialien zum Experimentieren, die diesen raffinierten Trick ein bisschen imitieren können. Hartes Metall lässt sich relativ einfach simulieren. Aber kann sich ein Material so formieren, dass es sich wie ein Huhn anfühlt? Mit Federn und allem? Eines Tages vielleicht.
Die Komponenten für ein allgemeines System der aktiven Haptik kann man sich also zumindest vorstellen. Wir hatten einmal einen langfristigen Plan zum Bau eines »Oktopus-Butler-Roboters«, der eine so breite Palette an haptischem Feedback aufweisen sollte, dass man seiner Phantasie freien Lauf lassen könnte, wie wir es bei der visuellen Seite der VR bereits tun.
Doch die Umsetzung war unendlich mühsam. Keiner von uns hatte die erforderliche Geduld. An dieser Stelle möchte ich noch einmal betonen, dass ich hier eine sehr vereinfachte Version präsentiert habe.
Das Problem bei der aktiven Haptik – also der Haptik, die auf Ertasten reagiert – ist, dass sie sich schwer in eine allgemeine Form bringen lässt. Man kann ein System wie »Phantom« entwickeln, um das Gefühl zu simulieren, ein Skalpell zu halten, aber es ist schwer, sich Geräte auch nur vorzustellen, die Kräfte und Empfindungen in einer Vielzahl virtueller Welten antizipieren und überall funktionieren, wo man es gerne hätte.
Doch die allgemeine Anwendbarkeit ist Teil der grundlegenden...
