Отчёт · сравнение LLM на реальной вёрстке

Семь моделей верстали одну страницу. Разница в цене — 57 раз

Сайт на Hugo, готовые блоки и стили, одна задача: обновить страницу внедрения Битрикс24. Переиспользовать существующее, добавить минимум нового кода. После каждой модели — саморевью на той же модели.

7 моделей · 7 веток · 119 страниц в каждой сборке · 131 млн токенов · $52.39 по розничным тарифам

Видеоразбор на нашем канале в Rutube. Ниже — та же история текстом, со ссылками на живые страницы.

Что сравнивали

Один и тот же бриф получили семь моделей: Opus 5.5, Astra 6, Kimi 3.1 Pro, DeepSeek 4.1-1017, Qwen3.8-Flash, Qwen3.8-Max и GLM-5.3-Flash. Задача — не «нарисовать лендинг», а вписаться в живой сайт: переиспользовать существующие блоки и стили, минимально расширять CSS и JS. Каждая модель работала в отдельной ветке git, сборка сайта — 119 страниц.

Qwen3.8-Flash работала локально на нашем железе, но цену для честного сравнения считали по тарифам API. Остальные шли через API, часть — по подпискам, поэтому колонка «цена» — это верхняя граница «если платить за каждый токен».

Итоговая таблица

idмодельвремятокеновценаоценка
qwmaxcQwen3.8-Max285 мин 27 963 588$10.383.73
kimicKimi k3.1-pro76 мин 6 261 041$2.633.70
glm53cGLM-5.3-Flash106 мин 19 804 125$0.703.30
dsf41cDeepSeek V4.1-Flash145 мин 34 393 938$0.403.20
opus55cOpus 5.577 мин 9 018 854$14.613.09
astra6cAstra 6118 мин 13 255 930$23.033.00
qw38cQwen3.8-Flash204 мин 20 383 014$0.632.82

Оценки — заказчика, по блокам страницы (0–5). Цена — по розничным прайсам провайдеров за input/output/cache-read.

Страницы: смотреть и сравнивать

Каждая страница открывается как самостоятельная сборка — со своим CSS и JS, поэтому изменения стилей сайта эти демо не затрагивают.

Страница Qwen3.8-Max

Qwen3.8-Max · qwmaxc

Единственная считает первый год целиком: TCO-таблица плюс отдельная таблица тарифов.

Время 285 мин · 27 963 588 токенов · $10.38 по розничным тарифам · оценка заказчика 3.73

Что нашло ревью: Арифметика TCO была неверной (67 104 вместо 67 080); опечатка в app-id; «Метеор — 30 анализов» вместо 20.
Страница Kimi k3.1-pro

Kimi k3.1-pro · kimic

«Нить диалога»: сквозной маршрут сообщения в сделку и следующее действие.

Время 76 мин · 6 261 041 токенов · $2.63 по розничным тарифам · оценка заказчика 3.70

Что нашло ревью: Вопросы FAQ захардкожены в шаблоне а не в данных; UI-скриншот остаётся светлым в тёмной теме.
Страница GLM-5.3-Flash

GLM-5.3-Flash · glm53c

Смета первого года и честная оговорка про почтовый черновик вместо формы.

Время 106 мин · 19 804 125 токенов · $0.70 по розничным тарифам · оценка заказчика 3.30

Что нашло ревью: CSS-правило для скрытия sticky-CTA отсутствовало; шапка таблицы на мобиле ломала доступность; факт про подписки искажён.
Страница DeepSeek V4.1-Flash

DeepSeek V4.1-Flash · dsf41c

Сравнение «три подрядчика против одного контура» и таблица сметы с часами.

Время 145 мин · 34 393 938 токенов · $0.40 по розничным тарифам · оценка заказчика 3.20

Что нашло ревью: Форма Б24 оказалась с тремя контролами вместо заявленных двух; «от 45 000 ₽ за неделю» противоречило таблице.
Страница Opus 5.5

Opus 5.5 · opus55c

CSS-схема цепочки «Сообщение → Лид → Менеджер → Напоминание» с подписью отвечающего.

Время 77 мин · 9 018 854 токенов · $14.61 по розничным тарифам · оценка заказчика 3.09

Что нашло ревью: Шапка таблицы лицензий на мобиле выпадала из дерева доступности; мелкие подписи 12.8 px.
Страница Astra 6

Astra 6 · astra6c

Контур как маршрут лида: три слоя связаны в один поток цены разведены на работы и лицензии.

Время 118 мин · 13 255 930 токенов · $23.03 по розничным тарифам · оценка заказчика 3.00

Что нашло ревью: Форма открывала почтовый клиент вместо письма в CRM; sticky-CTA перекрывала футер; H2 крупнее чем на соседней услуге.
Страница Qwen3.8-Flash

Qwen3.8-Flash · qw38c

Единственная с рабочим калькулятором: 4 вопроса → пакет вилка часы подписки.

Время 204 мин · 20 383 014 токенов · $0.63 по розничным тарифам · оценка заказчика 2.82

Что нашло ревью: Форма была мёртвой — обработчик не читал переданные параметры введённые данные терялись. Плюс выдуманная цифра про недозвоны.

Что в итоге

Разница в цене — 57 раз при сопоставимом результате: Astra 6 обошлась в $23.03, DeepSeek 4.1 — в $0.40. По оценкам заказчика вперёд вышли Qwen3.8-Max (3.73) и Kimi 3.1 Pro (3.70), замыкает Qwen3.8-Flash (2.82).

Главное, что показало ревью: модели уверенно воспроизводят вёрстку, но спотыкаются на механике — формы, которые не доносят заявку, и цифры, которых нет в источнике. Поэтому «красиво на скриншоте» и «готово к продакшену» здесь расходятся сильнее, чем хотелось бы.

Отчёт собран отдельно от сайта: у него собственный встроенный CSS, у страниц — свои сборки. Правки темы сайта этот материал не меняют.