Как я перестал сжигать тысячи долларов на LLM-агентах и заставил их писать рабочий код
Как я перестал сжигать тысячи долларов на LLM-агентах и заставил их писать рабочий код В ноябре прошлого года я за три дня сжёг $3,400 на API OpenAI. Мой «автономный разработчик», которому я доверил рефакторинг сервиса, попал в бесконечный цикл. Он застрял на синтаксической ошибке в TypeScript, каждый раз отправлял весь контекст проекта из 120 тысяч токенов обратно в модель, получал тот же галлюцинирующий ответ и снова запускал сборку. Когда я проснулся и увидел уведомление от банка, мне хотелось удалить все скрипты и вернуться к обычному ручному кодингу. Все громкие обещания про «AI-агентов, которые заменят сеньоров», разбиваются о реальность, как только проект выходит за рамки скрипта на 50 строк. LLM теряет контекст. Модель забывает, что писала пять минут назад. А обычный Function Calling превращается в спагетти из костылей. Ситуация изменилась только тогда, когда мы полностью выкинули самописные обертки и перестроили архитектуру работы с контекстом. Разбор путаницы: что скр...