Из практики

Статьи

Из практики, а не из теории: как я строю автономных ИИ-агентов под разработку продуктов - проверка работы, память о собственных провалах, перенос своих принципов в обвязку.

Как тестировать ИИ-агентов: сценарии, судья, петля правок

Агент на LLM вероятностен — удачный промпт с первого раза не делает его надёжным. Надёжность даёт не формулировка, а замкнутая петля: отдельный агент-судья прогоняет кандидата через боевые сценарии, судит выход по рубрике, а автор вместе с моделью правит промпт, пока набор не пройдёт стабильно. Внутри — сценарии-evals, почему судья обязан быть ДРУГИМ агентом, дисциплина самого стенда и что честно значит «почти детерминированно».

Как научить агентов не повторять свои ошибки

Агент учится внутри сессии и всё забывает на её границе — завтра он повторит вчерашнюю ошибку, а владелец пишет ту же коррекцию снова. Петля само-обучения замыкает разрыв: провалы оседают уроками в папке под git, отдельный агент-судья решает, что достойно урока, а карантин не пускает сырое наблюдение рулить поведением. Внутри — формат урока, ступень доверия, три уровня recall и главный вывод двух месяцев: часть уроков не лечится текстом вообще, им нужен исполняемый гейт, стоящий у заявляющего.

Как заставить агентов работать по твоим правилам, а не по общим

Как вынести свой способ решать, проверять и держать планку в ИИ-агентов — и получить автономную работу без ручной перепроверки. Это не про «цифрового двойника»: кодируются рабочие принципы и вкус, по которым агенты делают верные выводы там, где результат должен быть похож на твой. Внутри — архитектура слоёв, экономика моделей и те же механизмы, которыми лаборатории растят качество фронтир-моделей.