Künstliche Intelligenz macht Developer schneller. Diese These hat Cloudflight im Zuge des diesjährigen Cloudflight Coding Contest überprüft – und kommt zum Ergebnis: nicht für jeden und nicht für jede Aufgabe. [...]
Direkt im Anschluss an ihren letzten Cloudflight Coding Contest, Europas größten Programmierwettbewerb, hatte Cloudflight im April 2024 unter den Teilnehmenden eine Umfrage zur KI-Nutzung durchgeführt. Ziel der Befragung: Die Leistungen derjenigen, die KI einsetzten, mit denen der traditionell Programmierenden vergleichen. Von den 1.040 Befragten gaben 71 Prozent an, dem Einsatz von KI-Mitteln gegenüber offen zu sein – oft in einer Kombination aus mehreren mit ihren jeweiligen Stärken und Schwächen. ChatGPT und GitHub CoPilot waren die beliebtesten der insgesamt 15 Tools. 46 Prozent der KI-Nutzer und Nutzerinnen gaben an, durch den Einsatz von KI Zeit gespart zu haben, 22 Prozent haben nach eigener Einschätzung Arbeitszeit demgegenüber verloren, als wenn sie keine KI genutzt hätten.
Hilfreich bei unterstützenden Aufgaben
Das unterstreicht auch der direkte Geschwindigkeitsvergleich beim CCC: Nicht-KI-Nutzer waren im Durchschnitt etwas schneller. Bei diesem Wettbewerb geht es hauptsächlich um das Erstellen von Geschäftslogik unter Zeitdruck. Hierfür ist die Aufgabenstellung in sieben verschiedene Level aufgeteilt. Im Level 2 etwa waren User ohne KI-Unterstützung rund 11 Minuten schneller angelangt (43 zu 54 Minuten) als solche mit KI-Unterstützung, Level 3 wurde von Nicht-KI-Nutzern 16 Minuten früher erreicht (95 zu 111 Minuten). Level 4 wurde bereits nur mehr von 5 Prozent der Teilnehmenden (24 KI-Nutzer und 29 Nicht-KI-Nutzer) bewältigt, und Level 6 oder höher wurde ausschließlich von wenigen nicht-KI-Nutzer erreicht: „KI-Unterstützung nützt derzeit vor allem bei Routineaufgaben; komplexere und umfangreichere Logik hingegen können aktuelle KI-Assistenten nur selten im Alleingang fehlerfrei erstellen“, erklärt Martin Endress, CEO von Cloudflight, die Ergebnisse. „Das korrespondiert auch mit der internen Befragung unserer eigenen Entwicklern und Entwicklerinnen zur KI-Nutzung.“
Wie nutzen Profis KI?
Die Ergebnisse korrespondieren mit einer Cloudflight-internen Befragung von 70 Cloudflight-Entwicklern und Entwicklerinnen nach einem vierwöchigen Test zur Nutzung von GitHub Copilot. Die Hälfte der Befragten nutzt die KI nach eigener Aussage zwischen fünf und 15 Mal am Tag und spart dadurch signifikant an Arbeitszeit ein, im Mittel 40 Minuten, also acht Prozent eines Arbeitstages. Auf einen Monat betrachtet bedeutet dies eine Ersparnis von mehr als eineinhalb Tagen.
GitHub Copilot ist vor allem hilfreich bei sich wiederholenden Aufgaben wie der Generierung von Dokumentation, bei Unit- und Integrationstests oder Datenbankschemata. Als negativ beurteilten die Befragten, dass sie mit GitHub Copilot auf ChatGPT als einziges Modell beschränkt und damit wenig flexibel seien. Dies ist vor allem dann eine Herausforderung, wenn ein nicht zu unterschätzendes Problem auftritt: Es können mehrere Monate vergehen, bis neue Inhalte in ein Modell aufgenommen werden. Somit konnte GitHub Copilot teilweise keine Antworten zu aktuellen Versionen von Bibliotheken oder Dokumentationen liefern, und generierte stattdessen veralteten Code und fehlerhafte Antworten.
Harald Radi, Geschäftsführer Cloudflight Österreich: „Die Befragten nutzen KI-Tools hier also vor allem als Sparringspartner. Größere Codebases würden hingegen deutlich mehr Kontextwissen erfordern, wodurch aktuelle KI-Assistenten aufgrund der beschränkten Größe ihres Modellkontexts noch technische Einschränkungen aufweisen.“ Mehr als die Hälfte glaubt jedoch, dass die Effektivität im Laufe der Zeit zunehmen wird, wenn die KI-Nutzung besser in den eigenen Workflow integriert wird.
Die ausführlichen Ergebnisse und Grafiken können Interessierte im (englischsprachigen) Report auf dem Cloudflight-Blog nachlesen.
Be the first to comment