Screenpipe

Screenpipe ist ein Programm, das im Hintergrund läuft und ständig Bilder vom eigenen Bildschirm speichert. Zusätzlich nimmt es auf Wunsch auch das Mikrofon und den Ton des Computers auf. Aus diesen Aufnahmen zieht es den Text heraus, der gerade zu sehen oder zu hören war. So entsteht nach und nach ein durchsuchbares Archiv des eigenen Arbeitstags. Auf dieses Archiv können dann Programme zugreifen, die automatisch Texte schreiben oder Fragen beantworten. Der Grundgedanke: Der Computer soll sich merken, was man getan hat, damit man selbst nicht danach suchen muss.

Warum ein Gedächtnis für den Bildschirm überhaupt gefragt ist

Ein Chatbot weiß normalerweise nur das, was man ihm gerade schreibt. Er kennt weder die E-Mail von gestern noch die Videokonferenz von heute Morgen. Genau das ist die größte Schwäche vieler KI-Assistenten im Alltag. Screenpipe versucht, diese Lücke zu schließen, indem es dem Assistenten Zugriff auf den eigenen Bildschirmverlauf gibt.

Damit lassen sich Aufgaben lösen, die vorher mühsam waren. Ein Beispiel: Man sucht eine Zahl, die vor drei Wochen kurz in einer Tabelle stand. Wer sich weder Dateiname noch Ordner gemerkt hat, sucht lange. Ein Bildschirmarchiv findet die Stelle über den Text, der damals zu sehen war.

Der zweite Punkt ist der Datenschutz. Bildschirmaufnahmen enthalten Passwörter, private Nachrichten und Firmengeheimnisse. Screenpipe wirbt deshalb damit, dass die Daten lokal bleiben, also auf dem eigenen Gerät. Der Quellcode ist offen einsehbar, was Fachleuten erlaubt, die Behauptung zu überprüfen. Ein Restrisiko bleibt trotzdem: Wer Zugriff auf den Rechner bekommt, bekommt auch Zugriff auf das gesamte Archiv.

Von der Bildschirmaufnahme zum durchsuchbaren Text

Der erste Schritt ist eine Art Dauerscreenshot. Das Programm speichert regelmäßig, meist mehrmals pro Sekunde, ein Bild des Bildschirms. Diese Bilder werden komprimiert, damit die Festplatte nicht in wenigen Tagen voll ist. Parallel dazu laufen Aufnahmen von Mikrofon und Lautsprecher.

Im zweiten Schritt wird aus Bildern Text. Dafür kommt Texterkennung zum Einsatz, auf Englisch OCR: Software liest Buchstaben aus einem Bild heraus, ähnlich wie ein Scanner in der Schule. Für den Ton übernimmt das eine Spracherkennung, die gesprochene Sätze in geschriebene verwandelt. Beides zusammen ergibt eine lange Liste aus Textschnipseln mit Zeitstempel und Programmnamen.

Diese Liste landet in einer Datenbank auf der Festplatte. Andere Programme können sie über eine Schnittstelle abfragen. Eine Schnittstelle ist eine festgelegte Art, wie Software Daten bei anderer Software bestellt. Screenpipe unterstützt außerdem kleine Zusatzprogramme, sogenannte Pipes, die auf den Daten arbeiten. Eine solche Pipe kann zum Beispiel jeden Abend eine Zusammenfassung des Arbeitstags erzeugen.

Screenpipe im Vergleich zu Recall und ähnlichen Werkzeugen

Am bekanntesten ist die Idee durch Microsoft geworden. Deren Funktion Recall macht im Prinzip dasselbe auf neueren Windows-Rechnern. Die Ankündigung löste 2024 heftige Kritik von Sicherheitsforschern aus, weil die Daten schlecht geschützt waren. Microsoft verschob den Start und baute die Funktion um. Screenpipe wird oft als offene Alternative dazu genannt.

Typische Nutzer sind bisher Entwickler und Menschen, die viel am Rechner recherchieren. Verkaufsteams lassen sich Gesprächsnotizen automatisch erstellen. Andere nutzen das Archiv, um Arbeitszeiten nachzuvollziehen oder Berichte zu schreiben. In Firmen ist der Einsatz heikel: In Deutschland darf ein Arbeitgeber Beschäftigte nicht einfach dauerhaft überwachen, hier hat der Betriebsrat mitzureden.

In Nachrichtenmeldungen taucht Screenpipe meist im Zusammenhang mit dem Schlagwort KI-Agenten auf. Damit sind Programme gemeint, die Aufgaben selbstständig erledigen statt nur zu antworten. Solche Agenten brauchen Kontext, also Wissen über die Lage des Nutzers. Bildschirmaufzeichnung ist eine Möglichkeit, diesen Kontext zu liefern. Ob sich das durchsetzt, hängt weniger an der Technik als am Vertrauen der Nutzer.