Navigation ist die Domäne des Experimentes von AMANT und DULBERG [Amant & Dulberg, 1998]. Die Metapher der Navigation begegnet uns in vielen Bereichen: beim Durchsuchen von Informationsräumen (z.B. World Wide Web), Virtual reality Umgebungen und Entscheidungsräumen ebenso wie beim Wissens- und Prozessmanagement. Navigation löst das Problem nicht direkt, sondern setzt den nötigen Kontext für andere, effizientere Operationen.
Amant und Dulberg entwickelten einen Assistenten, der Vorschläge für das Finden eines gesuchten Knotens in einem Baum gibt. Sie fragten sich, inwieweit die Aufgabenbewältigung von der Qualität des Assisten abhängt.
Als Qualität eines Assistenten bezeichnen sie Präzision und recall. Um diese beiden Begriffe zu erklären, nutzen sie eine Analogie mit Informationssystemen. Präzision ist hier der relevante Teil der Ergebnismenge eine Abfrage, Recall das Verhältnis von relevanten und gefundenen Informationseinheiten zu der Gesamtmenge der relevanten Informationseinheiten. Der Unterschied scheint zunächst subtil, ein Beispiel soll ihn daher verdeutlichen: wenn bei einer Informationsabfrage 17 von 20 Ergebnissen relevant sind, ist das eine gute Präzision, bei drei von 20 eine schlechte. Wenn aber im ersten Fall insgesamt 100 relevante Datensätze in der Datenbank enthalten sind, ist die Zahl von 17 gelieferten ungenügend, der Recall ist gering. Auf die intelligente Assistenz angewendet, heißt dies in etwa: Präzision ist der Anteil der Ratschläge oder Aktionen des Assistenten, die zur Lösung der Aufgabe geeignet sind; Recall ist der Anteil der geeigneten Ratschläge oder Aktionen an der Gesamtheit der Alternativen.
Amant und Dulberg stellten nun folgende Fragen:
Die 23 Probanden (Studenten eines HCI-Kurses) wurden gebeten, in einem Baum einen Knoten mit bestimmten Eigenschaften zu suchen. Jeder Knoten hatte eine Zahl, eine Form und einen Buchstaben als Eigenschaft. Zu Beginn war nur die Wurzel des Baumes sichtbar. Durch Anklicken eines Knotens wurden seine Kinder aufgedeckt. Durch diese Art der Navigation mußte der gesuchte Knoten gefunden werden. Tiefe des Baumes war begrenzt, und die Eigenschaften der Kinder-Knoten ähnelten der des Eltern-Knotens. Der Assisten machte Vorschläge für den Pfad zum gesuchten Knoten, als textuelle Liste und durch Einfärbung der vorgeschlagenen Knoten.
Die Probanden wurden eingewiesen und konnte sich in einer Übungsphase (ohne Assistenten) mit dem System vertraut machen. Diese vereinfachte Situation beinhaltet nach Meinung von Amant und Dulberg wichtige Interaktionselemente eines Nutzers mit einem Assistenten:
Um die Qualität des Assistenten zu beeinflussen, machten die Autoren ihn zwar allwissend, aber fehlerhaft: aus der Menge der relevanten Knoten wurde ein Teil gegen irrelevante Knoten ausgetauscht. Der verbleibende Anteil an relevanten Knoten bezeichnen die Autoren als Präzision. Der Umfang (im Original: scope) ist die Zahl der Ratschläge. Hier variierten die Autoren zwischen lokalem und globalem Umfang. Im lokalen Fall betreffenden die Ratschläge nur Knoten in näherer Umgebung der aktuellen Suche, im globalen Fall alle Knoten, die zum Zielknoten führen. Umfang ist lt. den Autoren ein schwacher Ersatz für Recall.
Präzision und Umfang sind die unabhängigen Variablen. nav erstellten fünf Versuchsbedingungen nach der Varianzanalyse. Jeder Proband war diesen Bedingungen ausgesetzt, jedoch in unterschiedlicher Reihenfolge. Die Bedingungen sind in Tabelle 1 dargestellt.
| Bedingung | Umfang | Präzision |
| Bedingung 0 | -- | -- |
| Bedingung 1 | global | |
| Bedingung 2 | lokal | |
| Bedingung 3 | global | |
| Bedingung 4 | lokal | |
|
|
Die abhängigen Variablen waren:
Die erhobenen Daten belegen, dass die Bedingung 0 (ohne Assistenz) wesentlich schlechtere Performanzergebnisse bedingte als die Bedingungen mit Assistenz: im Mittel wurden 47 mehr Selektionen und Minuten mehr Zeit benötigt. Bei nur einem Probanden war die Leistung ohne Assistenz besser als mit Assistenz.
| Bedingung | Selektion | Dauer | Std.abweichung |
| ohne Assistenz | |||
| global / | |||
| lokal / | |||
| global / | |||
| lokal / | |||
|
|
Die statistische Auswertung der in Tabelle 2 gezeigten Ergebnisse ergab, daß sowohl Selektion als auch Dauer ausschließlich von der Präzision abhängen. Der Umfang (als Ersatz für Recall) hat keinen Effekt. Es gibt keine gegenseitige Abhängigkeiten. Die anderen kontrollierten Faktoren (verschiedene Probanden, Abfolge der Versuchsanordnungen, Problemgröße und -komplexität) zeigten keinen Effekt.
Wenn die Präzision gering ist, erhöht ein lokaler Umfang jedoch die Performanz.