Weryfikacja kodu AI: co działa, a co jest stratą czasu?

Krótki opis

Kacper Trzepieciński dzieli się sprawdzonymi strategiami i błędami, jakich unikać przy weryfikacji kodu pisanego przez AI, aby efektywnie i ekonomicznie tworzyć aplikacje.

Opis

Post na platformie X autorstwa Kacpra Trzepiecińskiego przedstawia doświadczenia z weryfikacją kodu generowanego przez AI, szczególnie z użyciem Claude Code. Autor dzieli się strategiami, które okazały się nieskuteczne, oraz tymi, które przyniosły pozytywne rezultaty.

Wśród nieskutecznych podejść wymienia niekończące się pętle review, w których agenci AI ciągle znajdują nowe błędy, oraz tworzenie jednej, obszernej listy pułapek, która zaśmieca kontekst. Okazało się, że takie metody prowadzą do marnowania czasu i tokenów, a także do przekombinowanego kodu.

Skuteczne strategie to rozbicie zadań na kilku domenowych recenzentów AI, którzy koncentrują się na konkretnych obszarach, co pozwala im wykrywać więcej trafnych problemów. Przed uruchomieniem agentów AI warto również stosować zwykłe skrypty, takie jak lint, które kosztują 0 tokenów i szybko wyłapują podstawowe błędy. Kluczowe są także tzw. hooki, czyli automatyczne skrypty, które nie pozwalają zakończyć pracy AI, jeśli znajdą błędy, np. w typach w TypeScript.

Autor podkreśla znaczenie jakości testów: nie chodzi o ich liczbę, lecz o to, by faktycznie coś sprawdzały i były uruchamiane, a ich zielony wynik nie był pusty. Sugeruje użycie testów mutacyjnych, jak Stryker, by weryfikować, czy testy wykrywają celowo wprowadzone błędy. Na koniec proponuje ręczne przeglądanie efektów pracy AI na podstawie dokumentu dla operatora, co pozwala wykryć błędy niewykrywalne automatycznie, takie jak nieudane migracje baz danych. Autor zaprasza też na bezpłatny live na YouTube.

Źródło