Прирост продуктивности кончился через три месяца.
Предупреждения статического анализатора остались.

Шесть утверждений, вокруг которых построен весь доклад.

Первые пять минут доклада — про одно исследование и один вывод из него.

Carnegie Mellon взял проекты, выложенные на GitHub, и по метаданным разделил их на две группы: там, где использовали привычные инструменты, и там, где код писал AI. В исследовании это был Cursor, хотя, по словам докладчика, мог быть любой другой инструмент. Всплеск продуктивности нашёлся, но продержался около трёх месяцев, а потом показатели вернулись к прежним.

Вместе со всплеском выросло число предупреждений статического анализа и сложность кода. Данные собирали через SonarQube. После трёх месяцев эти показатели не опустились: они остались и продолжили расти. Именно такие проблемы потом замедляют разработчиков сильнее, чем помог первоначальный ускоритель.

Дальше Chatterjee вводит понятие, вокруг которого держится вся остальная часть доклада: долг верификации. Это разрыв между уровнем качества, который выдаёт AI-инструмент, и уровнем, который нужен приложению. Сам разрыв никуда не денется, а вот цена его зависит от критичности системы.

Три причины, названные в докладе, и измерение, которое переводит их в выбор модели под задачу.

Третью причину Sonar измеряет публично. Компания прогоняет каждую крупную новую модель через примерно четыре тысячи задач по коду и оценивает результат теми же метриками, которыми SonarQube оценивает код людей: корректность, сложность, доля решённых задач, поддерживаемость, надёжность, безопасность. Итог — публичный лидерборд, где видно, где модель сильна и где ей есть куда расти.

На слайде в этот момент — Claude Opus 4.6 и Claude Sonnet 4.6. Если вы переключаетесь между ними ради контроля расхода токенов, разница в профилях касается вас напрямую.

Практический вывод из лидерборда двойной. Первый: под разные требования разумно брать разные модели. Второй, более важный для доклада: идеальной модели в таблице нет и не будет, поэтому проверка в петле нужна всегда.

Очевидный ответ на долг верификации — поставить между AI и продом ревьюера. Эксперимент Wharton показывает, насколько плотно этот фильтр держит.

Исследователи дали участникам задачи и AI-помощника. Участники не знали, что часть времени модель по указанию экспериментаторов уверенно врала. Разрыв в поведении между двумя режимами оказался небольшим.

Дальше Chatterjee проводит разделение, которое объясняет, почему одной проверки на этапе написания мало. Код предсказуем: написанная функция ведёт себя одинаково при каждом запуске, и в этом есть своё спокойствие. Софт так не работает. Код пишут люди с требованиями, эти требования и внешние обстоятельства влияют на поведение, а по мере роста приложения куски начинают взаимодействовать непредсказуемо. Затем приходят пользователи и делают то, чего никто не ожидал.

Chatterjee называет их обязательными, без них автоматическая верификация не даёт того, ради чего её ставят.

Zero trust здесь значит: код мог прийти откуда угодно. Его мог написать человек, могла написать одна модель, могла другая — и писали бы они по-разному. Проверять его нужно одинаково строго независимо от происхождения, причём другим методом, чем тот, которым код создан. Модель, проверяющая собственный вывод, наследует свои же слепые зоны, поэтому нужен набор разных инструментов.

Многослойность нужна потому, что ни одна техника не находит всех проблем сразу. Вычислительное ревью работает рядом с ревью на рассуждении, и между ними — всё остальное.

Agent-centric development cycle — так в Sonar называют агентную петлю разработки. В ней три фазы вокруг генерации кода.

Верификация — центральная фаза и та, которую внедрить проще всего: многие команды уже идут к ней. Она многослойная, опирается на рассуждение и охватывает три типа проблем сразу: качество, безопасность, соответствие требованиям. До неё стоит guide, после — solve.

Ключевая деталь фазы solve — агенту дают право чинить самому. Если найденное складывать в очередь к человеку, который уже ставит формальные подписи, петля не замкнётся. Именно так, по мысли Chatterjee, агентные петли доходят до кода, который можно отгружать.

Зачем компании это внедряют

Sonar разговаривал с клиентами, и причины повторяются от компании к компании.

Разбор схемы, которую Chatterjee показывает во второй половине доклада. Она объясняет, что происходит до петель, внутри агентной петли и в CI/CD.

До того как запустится хоть одна петля, нужно записать спецификации. Это архитектурные ограничения и желаемая архитектура, принятые стандарты и паттерны кода, список разрешённых и запрещённых зависимостей, синтаксические соглашения, практики логирования, наблюдаемости и трассировки. Отдельно определяются критерии качества: какие уровни безопасности, качества и поддерживаемости вы согласны выпускать в прод. Всё это надо записать и закодировать — иначе агенту нечего передавать.

Отдельный акцент Chatterjee делает на управлении контекстным окном. Бросать агенту всю кодовую базу нельзя: он потратит время и токены на метания и разведку. Задача фазы guide — отдать ровно тот контекст, который нужен под конкретную работу, чтобы агент быстро начал писать по делу.

Вторая половина доклада — про продукты компании. Ниже — что и для какой фазы предназначено.

Демо: как петля выглядит в редакторе

На видео в докладе работает Cursor. Порядок действий такой: агент получает задачу, вызывает инструмент контекста Vortex, чтобы понять код, с которым работает, пишет решение, затем обращается к проверке за списком проблем. Проблема находится, агент составляет план, исправляет и прогоняет анализ снова. Дальше он не идёт, пока не получит проходную оценку. Похожие интеграции есть с Claude Code, Codex и другими распространёнными инструментами для написания кода.

Семнадцать точек. Время кликабельно и открывает нужный момент видео.

Четыре фразы, вокруг которых держится аргумент. Оригинал сохранён дословно.

Итоговый слайд доклада плюс шаги, которые из него следуют. Отмечайте сделанное.