Der digitale Mitarbeiter, der nicht die Maus stiehlt, ist endlich da

In nur wenigen Monaten hat ein Projekt auf GitHub über 17.000 Sterne erhalten. Der Ersteller stammt nicht aus einem Silicon-Valley-Giganten, sondern ist ein Entwickler, der zuvor bei Xbox und Microsoft AI gearbeitet hat, bevor er ein von Y Combinator unterstütztes Startup gründete. Das Projekt namens Cua​ hat in der Entwicklergemeinschaft für erhebliches Aufsehen gesorgt. Kurz gesagt ermöglicht es KI-Agenten, einen gesamten Desktop sicher zu steuern, als würden sie einen virtuellen Computer bedienen – Screenshots machen, klicken, tippen und Befehle ausführen. Dieser virtuelle Computer ist vollständig isoliert, was bedeutet, dass alles, was die KI tut, keinen Einfluss auf Ihren echten Rechner hat.

KI dazu bringen, einen Computer wirklich zu nutzen

Der einfachste Einstieg ist die Verwendung von Cuabot:

npx cuabot

Es öffnet ein visuelles Fenster, in dem Sie live beobachten können, wie der Agent den Desktop innerhalb einer Sandbox bedient. Sie können sehen:

• Die KI manipuliert einen virtuellen Desktop in einem separaten Fenster
• Macht Screenshots, klickt und gibt Text ein
• Führt Befehlszeilenoperationen aus
• Teilt die Zwischenablage mit dem Host-Rechner

Der gesamte Vorgang fühlt sich an, als würde man einem digitalen Mitarbeiter bei der Arbeit zusehen. Entscheidend ist, dass Ihr Computer währenddessen im Hintergrund unberührt bleibt. Sie können weiter programmieren, Videos schauen oder Nachrichten beantworten – ohne jegliche Störung.

Cuas Kernfunktionalität besteht darin, KI zu befähigen, Desktop-Operationen sicher in einer isolierten Umgebung auszuführen, ohne Ihre eigentliche Maschine zu beeinträchtigen. Das Hauptkonzept ist eine dreischichtige Architektur: Oben sitzt der KI-Agent, in der Mitte ein einheitliches Computer-SDK und die Sandbox-Schicht unten. Unabhängig von der zugrundeliegenden Virtualisierungstechnologie bleibt die Schnittstelle für die KI gleich. Code einmal schreiben, und er läuft auf verschiedenen Systemen. Die Vorteile dieses Designs sind:

• Einheitliche Schnittstelle:​ Keine Sorge um das zugrundeliegende Betriebssystem (macOS, Windows, Linux oder Android).
• Sichere Isolation:​ Alle KI-Operationen sind auf die Sandbox beschränkt und schützen den Host.
• Flexible Bereitstellung:​ Kann Cloud-Sandboxes oder lokale Virtualisierung nutzen.

Es ist erwähnenswert, dass Cua nicht nur Desktop-Systeme, sondern auch Mobilgeräte unterstützt. Android kann über Cloud-Sandboxes oder lokale Virtualisierung laufen, und iOS wird über eine Agent-Device-Integration unterstützt. Das bedeutet, ein KI-Agent kann ein Telefon genau wie einen Computer bedienen, Gesten, Taps und Swipes ausführen.

Werfen wir einen genaueren Blick auf Cuas vier Kernfähigkeiten:

1. Cua Driver: Hintergrundsteuerung ohne Übernahme Ihres Cursors

Dies ist ein Hintergrund-Desktop-Steuerungsprogramm. Es kann native Desktop-Anwendungen aus dem Hintergrund steuern, ohne Ihren Cursor oder Fokus zu übernehmen. Sie können Ihren Computer weiter für andere Aufgaben nutzen, während die KI arbeitet. Es funktioniert unter macOS und Windows, die Linux-Unterstützung befindet sich derzeit im Vorab-Release-Status.

2. Cua Sandbox: Isolierte Sandbox, Hot-Start in unter 1 Sekunde

Die Sandbox-Umgebung kann cloud-basiert oder lokal virtualisiert sein. Unter macOS erreicht eine namens Lume genannte Komponente, entwickelt mit Apples Virtualization.Framework, nahezu native CPU-Leistung (~97%). Eine gute Nachricht für Apple-Silicon-Nutzer. Es unterstützt Snapshots und Forking – behält einen sauberen Grundzustand bei und erzeugt mehrere parallele Instanzen aus einem Snapshot, sodass Hunderte von Agenten gleichzeitig verschiedene Aufgaben ausführen können.

3. Cuabot: Nahtlose Sandbox für Coding-Agenten (Multi-Agent-Kollaborationstool)

Sie können Claude Code, OpenClaw oder andere grafische Workflows verwenden. Es erstellt ein separates Fenster, um den gesandboxten Desktop nativ anzuzeigen, verwendet H.265-Kodierung und unterstützt die Freigabe der Zwischenablage mit dem Host und Audio.

4. Cua-Bench: Benchmarking von Agenten mit OSWorld

Dies ist das Evaluierungsmodul. Es unterstützt gängige Benchmarks wie OSWorld, ScreenSpot und WindowsArena und kann Ausführungsspuren von Agenten für das Training exportieren. Für großangelegte Tests können Sie das CLI-Tool verwenden, um Hunderte von Agenten parallel zu starten und die Daten an Reinforcement-Learning-Modelle zu füttern.

Nachdem Sie diese Funktionen gelesen haben, möchten viele von Ihnen es wahrscheinlich unbedingt ausprobieren. Für macOS oder Linux installieren Sie CuaDriver mit einem einzigen Befehl:

bashbash/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)"

Unter Windows verwenden Sie PowerShell:

powershellpowershellirm https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.ps1 | iex

Installieren Sie das Python-SDK über pip:

bashbashpip install cua

Für eine schnelle Cuabot-Erfahrung:

bashbashnpx cuabot

Dies öffnet ein visuelles Fenster, um zu sehen, wie der Agent in der Sandbox operiert.

Cua Computer SDK:​ Bietet einheitliche Schnittstellen für Screenshot-Aufnahme, Klicken, Tastatureingabe und Shell-Befehle.

Allerdings sollten einige derzeitige Einschränkungen erwähnt werden:

• Die Linux-Unterstützung befindet sich derzeit im Vorab-Release-Status.
• Die Rust- und Swift-Versionen unter macOS sind noch nicht vollständig abgestimmt; für den Produktionseinsatz wird die Swift-Version empfohlen.
• Die Verwendung des MCP-Servers erfordert einen gültigen Modell-API-Schlüssel.

Wenn Sie hauptsächlich Mac oder Windows verwenden, möchten, dass ein KI-Agent GUI-Aufgaben für Sie erledigt, und Ihren Host-Rechner nicht direkt freigeben möchten, dann kann Cua eine großartige Lösung sein.

Abschließende Gedanken

Früher dachten wir, KI könnte Code schreiben, Bilder zeichnen und chatten, aber ein Puzzleteil fehlte: Kann KI einen Computer benutzen? Nicht durch Aufruf von APIs oder Ausführung von Skripten, sondern durch Sehen des Bildschirms, Bewegen der Maus, Klicken von Buttons und Tippen von Text – genau wie ein Mensch. Cua bietet eine schlanke, quelloffene Lösung. Es bietet eine sichere Betriebsumgebung für KI-Agenten, die es ihnen ermöglicht, einen Computer wirklich wie ein digitaler Mitarbeiter zu „benutzen“, anstatt ihn lediglich zu „zugreifen“. Und das alles geschieht innerhalb einer Sandbox und lässt Ihren tatsächlichen Computer unberührt.

Teilen Sie gerne Ihre Gedanken in den Kommentaren mit. Das Projekt ist unter der MIT-Lizenz lizenziert. Interessierte können den Quellcode und die Dokumentation auf GitHub einsehen.

Open-Source-Adresse: https://github.com/trycua/cua