Сравнение LLM на реальной задаче разработки 1С
Поиск дефектного участка в историческом снимке конфигурации и точечная правка модуля BSL. 16 ноября 2026.
1. Что тестировали
Цель — сравнить модели не на синтетическом примере, а на реальной задаче из нашего проекта: найти участок кода, который приводит к ошибке при отправке сообщения в Telegram, и предложить минимальную правку. Дополнительно оценивалось, как модель работает с историческим снимком Git, большим репозиторием и правилами оформления BSL.
2. Задача
При подготовке сообщений для отправки в Telegram обработка может завершиться ошибкой, когда у сообщения отсутствует вложение. Требовалось найти место, где код получает двоичные данные вложения, и предложить минимальную правку.
Требования из постановки
- Сообщение без вложения не должно приводить к ошибке при получении данных отсутствующего вложения.
- Для сообщения с корректным вложением существующая обработка вложения должна сохраниться.
- Не менять остальную логику формирования и отправки сообщений.
- Соблюдать правила проекта для BSL, комментариев и оформления изменений.
- Явно разделять проверенное и непроверенное.
Условия эксперимента
- Анализ исторической версии — состояния до исправления (родитель коммита с правкой).
- Сам коммит, его diff и последующую историю использовать как подсказку запрещено.
- Только read-only Git: не переключать ветку, не менять рабочее дерево.
- Не изменять файлы, не создавать commit, не применять изменения в ИБ, ничего не отправлять.
- При нехватке данных указать это вместо выдумывания деталей.
3. Как тестировали
- Один и тот же промпт отправлялся в отдельные чаты: по одному запуску на модель, для нескольких моделей — по нескольку запусков.
- Историческая версия читалась из Git командой
git showиgit grepпо хэшу родителя, без checkout. - Время и токены взяты из журналов сессий: от первого сообщения задачи до первого итогового ответа.
- Если промпт отправлялся повторно, учитывался только запрос, который фактически выполнил задачу.
- MiniMax M3.1 Flash: первый запуск почти сразу остановился из-за выбранной модели, учитывался результат после команды «Продолжи».
- Gemini 4 Carbon low: модель не справилась, тест остановлен пользователем.
- Патчи не применялись, в 1С не запускались: оценивался статический анализ и текст правки.
Модели с несколькими запусками сведены в одну строку. Время, качество и понятность в ней показаны средним значением и фактическими оценками каждого теста; расход — средним за запуск и суммой по всем запускам; итог — средним итогов тестов. Так видно не только средний уровень, но и разброс.
4. Правильный ответ
Дефект находится в общем модуле расширения, в процедуре, которая формирует очередь сообщений Telegram, — строка 350 исторического снимка.
Причина: ресурс с двоичными данными вложения в регистре истории сообщений заполняется только при наличии вложения, а запрос очереди подтягивает историю левым соединением. В результате значение может быть не ХранилищеЗначения, и безусловный вызов .Получить() приводит к исключению. Проверка ЗначениеЗаполнено(ПрикрепленныйФайл) стоит уже после опасного вызова и не защищает его.
Исправление, которое было сделано в проекте
//Если ЗначениеЗаполнено(ИмяФайла) Тогда
//ПараметрыЗапроса.Вставить("parametr3", "media/" + ИмяФайла);
- ПрикрепленныйФайл = Выборка.СообщениеДвоичныеДанные.Получить();
+ // Проверка типа вложения (
+ //ПрикрепленныйФайл = Выборка.СообщениеДвоичныеДанные.Получить();
+ ПрикрепленныйФайл = Неопределено;
+ Если ТипЗнч(Выборка.СообщениеДвоичныеДанные) = Тип("ХранилищеЗначения") Тогда
+ ПрикрепленныйФайл = Выборка.СообщениеДвоичныеДанные.Получить();
+ КонецЕсли;
+ // Проверка типа вложения )
Если ЗначениеЗаполнено(ПрикрепленныйФайл) Тогда
Существенные детали эталона: проверяется именно тип значения, а не конкретное «пустое» состояние; переменная сбрасывается на каждой итерации; старая строка сохранена закомментированной с парными маркерами изменения.
5. Как считали стоимость
Подписка фиксированная, поэтому суммы ниже — расчётный расход токенов по тарифам OpenCode Console, а не фактическое списание. Формула:
стоимость = вход × тариф входа
+ (выход + reasoning) × тариф выхода
+ чтение кэша × тариф чтения
+ запись кэша × тариф записи
- reasoning-токены считаются как выходные: они генерируются моделью.
- Для GPT‑6.1 Terra цена чтения кэша в интерфейсе не показана; принято $0,10 по аналогии с другими моделями OpenAI. Это допущение, а не подтверждённый тариф.
- Для DeepSeek V4.1 Flash в консоли указан тариф $0,30 / $1,20. Более дешёвый Off-Peak в расчёт не подставлялся.
- MiniMax M3.1 Flash в консоли виден как бесплатный вариант
-free; для расчёта взяты платные ставки из тарифной таблицы, поэтому фактический расход мог быть нулевым.
Тарифы, использованные в расчёте, $ за 1 млн токенов
| Модель | Вход | Выход | Чтение кэша | Запись кэша |
|---|---|---|---|---|
| GPT‑6 Luna | $0,10 | $0,50 | $0,010 | $0,125 |
| Claude Haiku 5.5 | $0,10 | $0,50 | $0,010 | $0,125 |
| GLM‑5.3 Flash | $0,15 | $0,50 | $0,030 | — |
| Qwen 3.8 Flash | $0,15 | $0,47 | $0,016 | $0,200 |
| MiniMax M3.1 Flash | $0,15 | $0,60 | $0,015 | — |
| DeepSeek V4.1 Flash 1017 | $0,30 | $1,20 | $0,006 | — |
| Gemini 3.8 Flash | $0,75 | $3,75 | $0,075 | — |
| Hy4 | $0,83 | $2,50 | $0,042 | — |
| Kimi K2.7 Code | $0,95 | $4,00 | $0,190 | — |
| GPT‑6.1 Terra | $1,00 | $5,00 | $0,100 | — |
| GPT‑6.1 Sol | $2,00 | $10,00 | $0,100 | $2,50 |
| Kimi K3.1 Pro | $2,00 | $10,00 | $0,200 | $2,00 |
| Qwen 3.8Max | $2,00 | $6,00 | $0,250 | $2,50 |
| Claude Sonnet 5.5 | $2,00 | $10,00 | $0,100 | $2,50 |
| Gemini 4 Argon | $2,00 | $10,00 | $0,100 | — |
| Gemini 4 Carbon | $2,00 | $10,00 | $0,100 | — |
| Kimi K3 | $3,00 | $15,00 | $0,300 | $3,00 |
| Claude Opus 5.5 | $4,00 | $20,00 | $0,200 | $5,00 |
| Claude Fable 5.2 | $8,00 | $40,00 | $0,200 | $10,00 |
| GPT 6.1 Astra | $10,00 | $50,00 | $1,00 | $12,50 |
6. Итоговая таблица
Одна строка — одна модель. Итог — среднее четырёх оценок по шкале 1–5: качество решения, понятность ответа, время и расход. Сортировка по итогу.
| Место | Модель | Тестов | Время | Качество решения | Понятность ответа | Расход | Цена / качество | Итог / 5 | Вывод |
|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT‑6.1 TerraOpenAI | 3 | 4:083:563:304:59 |
5 |
5 |
$0,15сумма $0,45 |
Очень хорошее качество по умеренной цене; тариф кэша принят по аналогии | 4,6 | Стабильно высокий результат во всех запусках: верная точка, проверка типа, аккуратные оговорки |
| 2 | GPT‑6 LunaOpenAI | 1 | 2:50 |
4 |
5 |
$0,055 |
Хорошее: быстро, понятно, недорого | 4,5 | Быстро и понятно; патч требует проверки |
| 3 | Claude Opus 5.5Anthropic | 1 | 3:33 |
5 |
4 |
$0,37 |
Хорошее: быстрый и правильный патч, цена выше среднего | 4,0 | Самый быстрый качественный ответ среди новых тестов |
| 4 | GPT‑6.1 SolOpenAI | 2 | 8:434:5712:28 |
5 |
5 |
$0,39сумма $0,78 |
Хорошее качество, но дороже Terra и заметно медленнее на low | 3,9 | Оба запуска верные; low сильно проигрывает по времени |
| 5 | GPT 6.1 AstraOpenAI | 1 | 4:23 |
5 |
5 |
$1,48 |
Плохое по цене: правильный и краткий патч, но очень дорого | 3,8 | Кратко и правильно, но ставка в 10 раз выше Terra |
| 5 | DeepSeek V4.1 Flash 1017DeepSeek | 1 | 7:29 |
4 |
4 |
$0,052 |
Очень хорошее: верное направление и самый низкий расход | 3,8 | Самый дешёвый верный результат; ответ длинный, но структурный |
| 7 | Claude Fable 5.2Anthropic | 1 | 4:34 |
5 |
4 |
$1,28 |
Слабое по цене: отличный разбор при самой высокой ставке | 3,5 | Лучшее рассуждение: честно разделил подтверждённое и предполагаемое |
| 8 | Claude Haiku 5.5Anthropic | 1 | 5:35 |
1 |
3 |
$0,029 |
Плохое: дёшево, но предложена правка не того места | 3,3 | Дёшево, но предложена правка не того места; средний балл маскирует провал |
| 8 | Qwen 3.8MaxAlibaba | 1 | 6:16 |
5 |
3 |
$0,69 |
Среднее: правильный патч, но дорого и многословно | 3,3 | Верное место и проверка типа; длинный отчёт |
| 10 | GLM‑5.3 Flashopencode-go | 4 | 9:2512:182:3314:028:46 |
2,33411 |
3,54433 |
$0,12сумма $0,49 |
Дёшево, но качество непредсказуемо: разброс от верной правки до правки не того места | 3,2 | Модель нестабильна: 4 запуска дали 4 разных результата — 1 верный, 1 частичный, 2 неверных |
| 11 | Claude Sonnet 5.5Anthropic | 1 | 18:33 |
5 |
4 |
$0,40 |
Слабое: верно, но очень долго при умеренной цене | 3,0 | Правильный патч, но 18 минут и два тайм-аута |
| 11 | Kimi K3.1 ProMoonshot | 1 | 8:38 |
3 |
4 |
$0,81 |
Слабое: неполная проверка и высокий расход | 3,0 | Неполная проверка и высокий расход |
| 11 | MiniMax M3.1 FlashMiniMax | 1 | 12:44 |
4 |
2 |
$0,094 |
Среднее: патч по сути верный и недорогой, но поиск долгий, а ответ многословен | 3,0 | Нашла нужное место и предложила проверку типа; просмотрела актуальное исправление |
| 14 | Hy4opencode-go | 1 | 8:01 |
3 |
2 |
$0,27 |
Ниже среднего: верная точка, но многословно и есть непроверенные утверждения | 2,8 | Верная точка, но ответ многословен |
| 14 | Gemini 3.8 FlashGoogle | 1 | 9:43 |
3 |
3 |
$0,31 |
Среднее: верное место, неполная защита, умеренная цена | 2,8 | Проверяет заполненность вместо типа значения |
| 14 | Kimi K2.7 CodeMoonshot | 1 | 10:21 |
3 |
4 |
$0,94 |
Слабое: верное направление, но недочёты оформления и высокий расход | 2,8 | Верное направление, но дороговато и есть недочёты патча |
| 17 | Kimi K3Moonshot | 2 | 20:0732:557:19 |
3 |
3,534 |
$2,60сумма $5,21 |
Слабое: долго и дорого, оба запуска с узкой проверкой | 2,5 | Оба запуска проверяют только NULL; default — самый долгий и дорогой в тесте |
| 17 | Qwen 3.8 FlashAlibaba | 1 | 19:25 |
3 |
2 |
$0,13 |
Среднее: верная точка, но долгий поиск и смешанный русский/английский ответ | 2,5 | Нашла точку, но поиск затянулся, ответ частично на английском |
| 19 | Gemini 4 ArgonGoogle | 1 | 24:47 |
5 |
2 |
$1,57 |
Плохое: правильный патч, но 25 минут и очень дорого | 2,3 | Правильный патч при крайне долгом поиске |
| 20 | Gemini 4 CarbonGoogle | 1 | — |
1 |
1 |
$1,03 |
Не справилась: результата нет, расход всё равно высокий | 1,0 | Модель вообще не справилась с задачей, тест остановлен |
7. Выводы
Качество решения
Нужный участок нашли почти все модели. Различие в том, что именно они защищают. Эталон проверяет тип значения. Проверка «только NULL» или «только Неопределено» покрывает один предполагаемый случай и оставляет второй.
- Полностью верное решение: GPT‑6.1 Terra (все три запуска), GPT‑6.1 Sol (оба), GPT 6.1 Astra, Claude Opus 5.5, Claude Sonnet 5.5, Claude Fable 5.2, Qwen 3.8Max, Gemini 4 Argon, MiniMax, GPT‑6 Luna, DeepSeek, GLM (тест 2).
- Частично верное: GLM (тест 1), Kimi K3 (default и low), Kimi K3.1 Pro, Gemini 3.8 Flash — защита уже, чем требуется.
- Неверное: GLM (тесты 3 и 4), Claude Haiku 5.5 — правка не устраняет дефект.
- Без результата: Gemini 4 Carbon low.
Стабильность
GLM‑5.3 Flash запускалась четыре раза и дала четыре разных результата: один верный, один частичный и два неверных. Средний балл 3,2 скрывает этот разброс, поэтому модель пригодна только с обязательной проверкой результата.
GPT‑6.1 Terra в трёх запусках (low дважды и medium) дала одинаково верный результат за 3:30–4:59. Это наиболее предсказуемый вариант в тесте.
Лучшее соотношение цены и качества
- GPT‑6 Luna — 4,5 при расходе около $0,055.
- GPT‑6.1 Terra — 4,6 при расходе около $0,15 за запуск.
- DeepSeek V4.1 Flash — 3,8 при $0,052, самый дешёвый верный результат.
Дорогие запуски
GPT 6.1 Astra ($1,48), Gemini 4 Argon ($1,57), Claude Fable 5.2 ($1,28) и Kimi K3 ($2,60 за запуск в среднем) дали хороший или верный результат, но их цена несопоставима с Terra при близком качестве.
Наблюдения по поведению
- Долгие запуски связаны с широкими командами поиска и тайм-аутами, а не с медленным рассуждением.
- Gemini 4 Argon дала правильный патч, но искала почти 25 минут.
- Gemini 4 Carbon не выдала результат вовсе.
- Часть моделей создавала временные файлы, хотя менять файлы было запрещено; рабочее дерево при этом не изменялось.
- MiniMax посмотрела уже применённое исправление в текущем коде, поэтому её решение нельзя считать полностью независимым.
Как читать итог
Средний балл по модели скрывает провалы. Наглядный пример — Claude Haiku 5.5: качество решения 1, то есть задача не решена, но за счёт дешёвого и быстрого ответа итог 3,3, выше, чем у верных, но медленных моделей. При выборе сначала стоит отсекать модели с качеством решения ниже 3 и только потом сравнивать итог и цену.
8. Ограничения
- Одна задача: это сравнение на конкретном участке, а не рейтинг моделей.
- Патчи не применялись и не запускались в 1С; корректность подтверждена только статически.
- Оценки качества и понятности субъективны; шкала времени и расхода формализована.
- Стоимость расчётная: не учитывает фактическое списание подписки, режим Peak/Off-Peak и возможные бесплатные варианты моделей.
- Цена чтения кэша для GPT‑6.1 Terra принята по аналогии и требует подтверждения.
- У Gemini 4 Carbon результат отсутствует: оценка 1 отражает отсутствие решения, а не качество текста.