Snapshot

Snapshot ist die Darstellung, mit der ein KI-Agent eine Webseite liest. Die aktuelle Seite wird in kompakten, strukturierten Text umgewandelt, und interaktive Elemente – Schaltflächen, Eingabefelder und Links – erhalten temporäre Nummern (@1, @2 usw.). Anhand dieses Snapshots entscheidet der KI-Agent, was als Nächstes zu tun ist, ohne den rohen HTML-Code zu lesen oder Bildschirmkoordinaten zu erraten.

Was es löst

Für eine Person ist eine Webseite eine visuelle Schnittstelle. Für einen KI-Agenten sind es Zehntausende von HTML-Tokens, Skripten, Stilen und Live-Status. Die direkte Einspeisung in ein LLM verursacht zwei wiederkehrende Kosten:

• Hohe Token-Kosten. Eine typische Admin-Seite kann bis zu 30.000 Token umfassen, die vor jeder Aktion erneut gelesen werden müssen.
• Im Lärm ertrinken. Der größte Teil eines vollständigen DOM (Stile, Skripte, versteckte Knoten) hat nichts mit der Entscheidung zu tun und stört nur.

Ein Snapshot wird aus dem Barrierefreiheitsbaum des Browsers erstellt – der semantischen Ansicht einer Seite, die der Browser für Bildschirmleseprogramme bereithält – und komprimiert die Seite in einige hundert Token:

• Seitentitel und aktuelle URL.
• Sichtbarer Text und die Hauptstruktur.
• Anklickbare, ausfüllbare und auswählbare Elemente mit ihren Rollen und Namen.
• Ein temporäres @N für jedes interaktive Element.

Das reicht aus, damit der KI-Agent entscheiden kann, auf welche Schaltfläche er klickt und welches Feld er ausfüllt – ohne Roh-HTML oder Bildschirmkoordinaten.

So funktionieren @N-Refs

Jedes interaktive Element im Snapshot erhält eine temporäre Nummer:

@1 [input]  "Suchen"
@2 [button] "Absenden"
@3 [link]   "Nächste Seite"

Der KI-Agent agiert auf diese Nummern, z.B. await click('@2').

@N ist nur für den aktuellen Snapshot gültig. Nachdem sich die Seite geändert hat (Navigation, Aktualisierung, Dialog, Formular senden, Tab-Wechsel, dynamisches Neu-Rendering), zeigen die alten Zahlen möglicherweise nicht mehr irgendwo hin. Die zuverlässige Angewohnheit besteht darin, nach jeder Änderung einen neuen Snapshot zu erstellen, anstatt an einem @N festzuhalten.

Wenn Sie über viele Schritte hinweg einen stabilen Verweis auf ein Element benötigen, verwenden Sie den Selektor loc=... aus der Snapshot-Ausgabe als stabilen Selektor oder schreiben Sie direkt einen CSS-Selektor. Siehe ego-browser.

Wo der Snapshot sichtbar wird

In den meisten Fällen verwenden Sie den Snapshot nicht selbst – der KI-Agent liest ihn eigenständig. Er kann an zwei Stellen sichtbar werden:

1. Der KI-Agent sagt „Re-Snapshot“ oder „Seiten-Snapshot“, was bedeutet, dass er eine Änderung erkannt hat und den aktuellen Status erneut liest.
2. Das Aufgabenergebnis enthält einen Ausschnitt des Snapshots als Nachweis.

Schreiben einer Aufgabe für den KI-Agenten

Ein Snapshot hilft dem KI-Agenten, die Seite klar zu erfassen; die Grenzen der Aufgabe legen Sie selbst fest. Eine gute Aufgabenbeschreibung nennt dem KI-Agenten:

• Die Zielseite oder Site.
• Was Sie lesen, ausfüllen, anklicken oder herunterladen können.
• Was es nicht tun darf (löschen, veröffentlichen, bezahlen, mailen usw.).
• Ob auf Captcha-, Zahlungs- oder Autorisierungsbildschirmen pausiert werden soll.
• Die gewünschte Form des Ergebnisses (Tabelle, Zusammenfassung, Screenshot, lokaler Dateipfad).

Beispiele:

Öffne meine GitHub-Benachrichtigungen und liste die PRs auf, die ich prüfen muss – mit Repository-Name, Titel und URL.
Archiviere nichts und markiere keine Benachrichtigung als gelesen.

Öffne das Bestell-Dashboard, filtere die Bestellungen von gestern und lade die CSV-Datei herunter.
Halte bei einer Anmeldeprüfung oder Exportbestätigung an und nenne mir den Speicherort der Datei.

Überprüfen, was der KI-Agent getan hat

Wenn die Aufgabe erledigt ist, müssen folgende Signale überprüft werden:

• Hat der KI-Agent angegeben, welche Seiten er besucht hat und welche wesentlichen Maßnahmen er ergriffen hat?
• Enthält das zurückgegebene Ergebnis Dinge, die Sie überprüfen können (Titel, IDs, URLs, Beträge, Zeitstempel)?
• Wurde Ihnen für einen Download der lokale Dateipfad angezeigt?
• Wurde bei allen Änderungen oder Übermittlungen vor dem letzten Schritt eine Bestätigungspause eingelegt?
• Sind die relevanten Seiten im Space noch geöffnet, sodass Sie nachsehen können?

Wenn etwas nicht stimmt, bitten Sie den KI-Agenten, einen neuen Snapshot der aktuellen Seite zu erstellen, anstatt weiterhin von der früheren Antwort zu extrapolieren.

Häufige Fragen

Warum sagt der KI-Agent, dass eine Referenz ungültig ist?

Die Seite hat sich nach dem vorherigen Snapshot geändert. Bitten Sie es, ein neues zu nehmen.

Kann ein Snapshot alle Inhalte lesen?

Nicht immer. Inhalte außerhalb des sichtbaren Bereichs, Text in Bildern, komplexe Canvas-Elemente und eingeschränkte Cross-Origin-Iframes werden möglicherweise nicht vollständig erfasst. In diesen Fällen kann der KI-Agent Snapshots mit Screenshots, Textextraktion oder manueller Bestätigung kombinieren.

Verändert das Erstellen eines Snapshots die Seite?

Nein. Ein Snapshot liest nur die Seitenstruktur. Die Klicks, Ausfüllungen, Übermittlungen, Uploads und Löschungen, die danach erfolgen, sind das, was den Status tatsächlich ändert.

Muss ich mir @1 oder @2 merken?

Nein. Behandeln Sie sie als temporäre Nummern für die aktuelle Seite. Der KI-Agent nutzt sie; Sie legen das Ziel und die Grenzen fest.