Testy pisane przez AI: strata czasu i pieniędzy?

Krótki opis

Badanie DeepSWE wykazało, że generowanie testów jednostkowych i integracyjnych przez AI nie poprawia wskaźnika sukcesu w kodowaniu, a jednocześnie zwiększa czas i koszty.

Opis

Post na X analizuje skuteczność automatycznego generowania testów jednostkowych i integracyjnych przez modele AI, w szczególności Claude Sonnet 5.5, w kontekście projektu DeepSWE. Badanie porównało scenariusz, w którym AI mogło pisać testy, ze scenariuszem, gdzie było to zabronione, na 111 rzeczywistych zadaniach kodowania i 444 uruchomieniach.

Wyniki są zaskakujące: zakaz pisania testów przez AI nie tylko nie obniżył wskaźnika sukcesu (wzrost o 0.9 punktu procentowego, z 65.3% do 66.2%), ale także znacząco zmniejszył czas pracy agenta (o 6%, z 62.0 h do 58.0 h) i związane z tym koszty (o 9%, z 304 USD do 278 USD). Spośród testów napisanych przez AI, 65% stanowiły testy jednostkowe, a 35% integracyjne, jednak ich obecność nie przyniosła żadnej poprawy. Dodatkowo, całkowite wyłączenie uruchamiania nawet istniejących testów na próbce 44 zadań również nie wpłynęło na wskaźnik sukcesu. Autor sugeruje, że testy pisane przez AI często są jedynie powtórzeniem implementacji i nie dodają wartości, ponieważ zarówno implementacja, jak i testy są interpretacją intencji przez agenta. Wartość testów end-to-end nie została jeszcze zbadana w tym kontekście.

Źródło