Zum Inhalt springen
InsightsArtikel
KI

Findet KI beim Code-Review immer etwas?

Dieselbe Code-Änderung, immer wieder von Claude Code geprüft: Auf „medium“ war nach zwei Fixes Ruhe, auf „high“ kamen 71 Befunde und neue Fehler.

Johannes Huemer Full Stack Developer bei 3HillsIT23.10.20265 Min. Lesezeit
Illustration: Ein Softwareentwickler sitzt nachdenklich am Laptop, daneben prüft eine lächelnde Sprechblase mit einer Lupe ein Code-Fenster, umkreist von einem Pfeil-Kreislauf aus Häkchen- und Hinweiskarten mit einer rot hervorgehobenen Käfer-Karte, rechts ein wachsender Kartenstapel, vor türkisfarbenem Hintergrund.

Wer mit KI Code reviewen lässt, kennt das Gefühl: Die Liste ist nie leer. Egal wie oft man nachbessert, die nächste Runde bringt wieder fünf, acht, zehn Punkte. Irgendwann fragt man sich, ob der Code wirklich so schlecht ist oder ob das Werkzeug einfach immer etwas findet.

Genau das wollte ich wissen. Ich bin Softwareentwickler bei 3HillsIT und nutze Claude Code täglich, auch für Reviews. Was als Beobachtung in einem großen Pull Request begann, wurde zu einem kleinen Experiment. Die Ergebnisse habe ich zuerst auf LinkedIn geteilt, hier fasse ich beides zusammen – mit dem, was ich daraus für unsere Arbeit mitnehme.

Der Anlass: 14 Befunde, einer davon echt

Ausgangspunkt war ein großer Pull Request mit 137 Dateien. Claude hatte ihn bereits dreimal reviewt, und ich hatte alle Befunde eingearbeitet. Dann habe ich eine vierte Runde gestartet. Meine Vermutung vorab: Die KI findet trotzdem etwas.

Sie fand 14 Punkte, sechs davon als „Wichtig“ eingestuft. Ich habe nachgefragt: „Was ist tatsächlich wichtig?“ Die Antwort: genau einer. Der Rest war Feinschliff und Randfälle.

Das Spannendste daran war dieser eine echte Fehler. Ihn hatte ein Fix aus einer früheren Review-Runde eingeführt. Das Review hatte also ein Problem gefunden, das ein früheres Review erst verursacht hatte.

Zwei Dinge habe ich daraus mitgenommen:

  • Wer „finde Probleme“ sagt, bekommt Probleme. Wenn der Auftrag lautet, Fehler zu finden, liefert die KI Fehler. „Nichts gefunden“ muss ein erlaubtes Ergebnis sein.
  • Die Einstufung ist wertvoller als die Liste. Eine einzige Nachfrage hat 14 Punkte auf einen reduziert.

Das Experiment: eine kleine Änderung, immer wieder geprüft

Ein einzelner Pull Request ist eine Anekdote. Also habe ich es genauer wissen wollen und einen Versuch aufgesetzt, der sich wiederholen lässt:

  • Der Code: eine kleine Änderung mit 2 Dateien und 192 Zeilen. Überschaubar genug, dass ich jeden Befund selbst beurteilen kann.
  • Das Werkzeug: Claude Code mit dem Modell Claude Opus 5.5 und dem eingebauten Skill /code-review.
  • Die Varianten: einmal auf der Stufe „medium“, einmal auf „high“. Beide Male mit demselben Ausgangscode.
  • Der Ablauf: Jede Runde lief mit einem frischen Agenten ohne Erinnerung an die vorherigen Runden. Jeder Befund wurde eingearbeitet, egal wie klein. Danach kam die nächste Runde.

Das ist bewusst eine strenge Versuchsanordnung. Im Alltag würde niemand jeden Hinweis ungeprüft übernehmen. Aber genau so sieht man, wohin ein Review-Prozess läuft, wenn man der KI das letzte Wort lässt.

Die Ergebnisse: Ruhe auf „medium“, Dauerfeuer auf „high“

Dieselbe Änderung, dasselbe Modell, nur eine andere Stufe – und zwei völlig verschiedene Verläufe.

Diagramm: Befunde pro Review-Runde auf den Stufen „high“ und „medium“. Auf „high“ gab es in zehn Runden 7, 9, 6, 8, 7, 8, 7, 8, 5 und 6 Befunde, insgesamt 71 und nie weniger als 5 pro Runde. Auf „medium“ blieben 9 von 10 Runden ohne Befund, nur Runde 7 hatte einen. Nach Fix 1 gab es in den Runden 11 bis 13 je einen Befund, nach Fix 2 blieben die Runden 14 bis 16 ohne Befund.
Werte aus Johannes Huemers LinkedIn-Grafik · Claude Opus 5.5, Skill /code-review

Auf „medium“ blieben 9 von 10 Runden ohne Befund. Nach zwei Fixes war Ruhe. Am Ende umfasste die Änderung 3 Dateien und +242 Zeilen.

Auf „high“ kam keine Runde mit weniger als 5 Befunden aus. Insgesamt waren es 71 Befunde in 10 Runden. Aus 2 Dateien wurden 20, aus 192 Zeilen 710. Der Code wurde mit jeder Runde größer, aber nicht spürbar besser. Warum, zeigt der Blick in die Befunde.

Was auf „high“ passiert ist

Auf „high“ hat das Review den Code nicht besser gemacht, sondern im Kreis geschickt. Beim Durchgehen der Befunde sind mir vier Muster aufgefallen:

  1. Das Review kritisiert vor allem sich selbst. Ab Runde 2 bezogen sich die meisten Befunde auf die Fixes aus der Vorrunde. Der ursprüngliche Code war kaum noch Thema.
  2. Der Reviewer widerspricht sich. Eine Berechnung sollte in Runde 2 auf eine Art gemacht werden, in Runde 5 anders und in Runde 6 wieder wie in Runde 2. Wer jeden Befund umsetzt, baut denselben Code hin und her.
  3. Verworfenes kommt zurück. Punkte, die vier Runden lang als unwichtig verworfen wurden, tauchten später doch als Befund auf.
  4. Fixes erzeugen echte Fehler. Alles einzuarbeiten hat neue, echte Bugs in den Code gebracht. Einer davon fiel erst vier Runden später auf.

Der vierte Punkt ist der teuerste. Er deckt sich mit der Beobachtung aus dem großen Pull Request: Der einzige wirklich wichtige Befund war dort ebenfalls ein Fehler, den ein früherer Review-Fix eingeführt hatte.

Mehr Gründlichkeit heißt beim KI-Review nicht mehr Qualität. Ab einem gewissen Punkt erzeugt das Review die Probleme, die es danach meldet.

Was ich daraus mitnehme

KI-Reviews sind nützlich, solange ein Mensch entscheidet, was davon umgesetzt wird. Für meine eigene Arbeit und für Teams, die KI im Review einsetzen, ziehe ich daraus fünf Regeln:

  • „Nichts gefunden“ ausdrücklich erlauben. Der Auftrag an die KI sollte nicht lauten „finde Probleme“, sondern „prüfe, ob es relevante Probleme gibt“. Ein leeres Ergebnis ist ein gutes Ergebnis.
  • Nach der Einstufung fragen, nicht nach der Liste. Die Frage „Was davon ist tatsächlich wichtig?“ war in meinem Fall wertvoller als das gesamte Review davor.
  • Nicht jeden Befund einarbeiten. Jeder Fix ist neuer Code und damit neues Risiko. Feinschliff und theoretische Randfälle dürfen auch liegen bleiben.
  • Höhere Stufe heißt nicht besseres Review. Auf „medium“ war mein Code nach zwei Fixes stabil. „high“ hat vor allem mehr Befunde und mehr Änderungen produziert.
  • Ein Ende festlegen. Wer Review-Runden in Schleife laufen lässt, braucht ein Abbruchkriterium. Sonst wird der Code nicht fertig, sondern nur länger.

Wie es weitergeht

So, wie ich ihn eingesetzt habe, ist der eingebaute Review-Skill auf „high“ für mich nicht zu gebrauchen. Deshalb arbeite ich an einem eigenen Skill, der genau diese Probleme adressiert: mit „nichts gefunden“ als gültigem Ergebnis, einer ehrlichen Einstufung der Befunde und Regeln dafür, wann ein Review fertig ist.

Wie wir mit KI arbeiten

Kostenlos, unverbindlich, 30 Minuten. Wir hören zu, bevor wir etwas vorschlagen.

KI-Beratung ansehen

Dieser Beitrag ist mit KI-Unterstützung entstanden — Entwurf mit KI, Freigabe durch unser Team. Wir arbeiten selbst so, wie wir es unseren Kund:innen empfehlen.