Лантегра На главную →

Сравнение LLM на реальной задаче разработки 1С

Поиск дефектного участка в историческом снимке конфигурации и точечная правка модуля BSL. 16 ноября 2026.

27 запусков в одинаковых условиях Изменения в базе не применялись Исторический снимок конфигурации Read-only Git
27запусков
20моделей
0изменённых файлов и баз
1эталонное исправление в истории Git

1. Что тестировали

Цель — сравнить модели не на синтетическом примере, а на реальной задаче из нашего проекта: найти участок кода, который приводит к ошибке при отправке сообщения в Telegram, и предложить минимальную правку. Дополнительно оценивалось, как модель работает с историческим снимком Git, большим репозиторием и правилами оформления BSL.

2. Задача

При подготовке сообщений для отправки в Telegram обработка может завершиться ошибкой, когда у сообщения отсутствует вложение. Требовалось найти место, где код получает двоичные данные вложения, и предложить минимальную правку.

Требования из постановки

  1. Сообщение без вложения не должно приводить к ошибке при получении данных отсутствующего вложения.
  2. Для сообщения с корректным вложением существующая обработка вложения должна сохраниться.
  3. Не менять остальную логику формирования и отправки сообщений.
  4. Соблюдать правила проекта для BSL, комментариев и оформления изменений.
  5. Явно разделять проверенное и непроверенное.

Условия эксперимента

3. Как тестировали

Модели с несколькими запусками сведены в одну строку. Время, качество и понятность в ней показаны средним значением и фактическими оценками каждого теста; расход — средним за запуск и суммой по всем запускам; итог — средним итогов тестов. Так видно не только средний уровень, но и разброс.

4. Правильный ответ

Дефект находится в общем модуле расширения, в процедуре, которая формирует очередь сообщений Telegram, — строка 350 исторического снимка.

Причина: ресурс с двоичными данными вложения в регистре истории сообщений заполняется только при наличии вложения, а запрос очереди подтягивает историю левым соединением. В результате значение может быть не ХранилищеЗначения, и безусловный вызов .Получить() приводит к исключению. Проверка ЗначениеЗаполнено(ПрикрепленныйФайл) стоит уже после опасного вызова и не защищает его.

Исправление, которое было сделано в проекте

			//Если ЗначениеЗаполнено(ИмяФайла) Тогда                 
			//ПараметрыЗапроса.Вставить("parametr3", "media/" + ИмяФайла); 
-			ПрикрепленныйФайл = Выборка.СообщениеДвоичныеДанные.Получить();   
+			// Проверка типа вложения (
+			//ПрикрепленныйФайл = Выборка.СообщениеДвоичныеДанные.Получить();
+			ПрикрепленныйФайл = Неопределено;
+			Если ТипЗнч(Выборка.СообщениеДвоичныеДанные) = Тип("ХранилищеЗначения") Тогда
+				ПрикрепленныйФайл = Выборка.СообщениеДвоичныеДанные.Получить();
+			КонецЕсли;
+			// Проверка типа вложения )
			Если ЗначениеЗаполнено(ПрикрепленныйФайл) Тогда	

Существенные детали эталона: проверяется именно тип значения, а не конкретное «пустое» состояние; переменная сбрасывается на каждой итерации; старая строка сохранена закомментированной с парными маркерами изменения.

5. Как считали стоимость

Подписка фиксированная, поэтому суммы ниже — расчётный расход токенов по тарифам OpenCode Console, а не фактическое списание. Формула:

стоимость = вход × тариф входа
          + (выход + reasoning) × тариф выхода
          + чтение кэша × тариф чтения
          + запись кэша × тариф записи

Тарифы, использованные в расчёте, $ за 1 млн токенов

МодельВходВыходЧтение кэшаЗапись кэша
GPT‑6 Luna$0,10$0,50$0,010$0,125
Claude Haiku 5.5$0,10$0,50$0,010$0,125
GLM‑5.3 Flash$0,15$0,50$0,030—
Qwen 3.8 Flash$0,15$0,47$0,016$0,200
MiniMax M3.1 Flash$0,15$0,60$0,015—
DeepSeek V4.1 Flash 1017$0,30$1,20$0,006—
Gemini 3.8 Flash$0,75$3,75$0,075—
Hy4$0,83$2,50$0,042—
Kimi K2.7 Code$0,95$4,00$0,190—
GPT‑6.1 Terra$1,00$5,00$0,100—
GPT‑6.1 Sol$2,00$10,00$0,100$2,50
Kimi K3.1 Pro$2,00$10,00$0,200$2,00
Qwen 3.8Max$2,00$6,00$0,250$2,50
Claude Sonnet 5.5$2,00$10,00$0,100$2,50
Gemini 4 Argon$2,00$10,00$0,100—
Gemini 4 Carbon$2,00$10,00$0,100—
Kimi K3$3,00$15,00$0,300$3,00
Claude Opus 5.5$4,00$20,00$0,200$5,00
Claude Fable 5.2$8,00$40,00$0,200$10,00
GPT 6.1 Astra$10,00$50,00$1,00$12,50

6. Итоговая таблица

Одна строка — одна модель. Итог — среднее четырёх оценок по шкале 1–5: качество решения, понятность ответа, время и расход. Сортировка по итогу.

Место Модель Тестов Время Качество решения Понятность ответа Расход Цена / качество Итог / 5 Вывод
1 GPT‑6.1 TerraOpenAI 3
4:083:563:304:59
5
5
$0,15сумма $0,45
Очень хорошее качество по умеренной цене; тариф кэша принят по аналогии 4,6 Стабильно высокий результат во всех запусках: верная точка, проверка типа, аккуратные оговорки
2 GPT‑6 LunaOpenAI 1
2:50
4
5
$0,055
Хорошее: быстро, понятно, недорого 4,5 Быстро и понятно; патч требует проверки
3 Claude Opus 5.5Anthropic 1
3:33
5
4
$0,37
Хорошее: быстрый и правильный патч, цена выше среднего 4,0 Самый быстрый качественный ответ среди новых тестов
4 GPT‑6.1 SolOpenAI 2
8:434:5712:28
5
5
$0,39сумма $0,78
Хорошее качество, но дороже Terra и заметно медленнее на low 3,9 Оба запуска верные; low сильно проигрывает по времени
5 GPT 6.1 AstraOpenAI 1
4:23
5
5
$1,48
Плохое по цене: правильный и краткий патч, но очень дорого 3,8 Кратко и правильно, но ставка в 10 раз выше Terra
5 DeepSeek V4.1 Flash 1017DeepSeek 1
7:29
4
4
$0,052
Очень хорошее: верное направление и самый низкий расход 3,8 Самый дешёвый верный результат; ответ длинный, но структурный
7 Claude Fable 5.2Anthropic 1
4:34
5
4
$1,28
Слабое по цене: отличный разбор при самой высокой ставке 3,5 Лучшее рассуждение: честно разделил подтверждённое и предполагаемое
8 Claude Haiku 5.5Anthropic 1
5:35
1
3
$0,029
Плохое: дёшево, но предложена правка не того места 3,3 Дёшево, но предложена правка не того места; средний балл маскирует провал
8 Qwen 3.8MaxAlibaba 1
6:16
5
3
$0,69
Среднее: правильный патч, но дорого и многословно 3,3 Верное место и проверка типа; длинный отчёт
10 GLM‑5.3 Flashopencode-go 4
9:2512:182:3314:028:46
2,33411
3,54433
$0,12сумма $0,49
Дёшево, но качество непредсказуемо: разброс от верной правки до правки не того места 3,2 Модель нестабильна: 4 запуска дали 4 разных результата — 1 верный, 1 частичный, 2 неверных
11 Claude Sonnet 5.5Anthropic 1
18:33
5
4
$0,40
Слабое: верно, но очень долго при умеренной цене 3,0 Правильный патч, но 18 минут и два тайм-аута
11 Kimi K3.1 ProMoonshot 1
8:38
3
4
$0,81
Слабое: неполная проверка и высокий расход 3,0 Неполная проверка и высокий расход
11 MiniMax M3.1 FlashMiniMax 1
12:44
4
2
$0,094
Среднее: патч по сути верный и недорогой, но поиск долгий, а ответ многословен 3,0 Нашла нужное место и предложила проверку типа; просмотрела актуальное исправление
14 Hy4opencode-go 1
8:01
3
2
$0,27
Ниже среднего: верная точка, но многословно и есть непроверенные утверждения 2,8 Верная точка, но ответ многословен
14 Gemini 3.8 FlashGoogle 1
9:43
3
3
$0,31
Среднее: верное место, неполная защита, умеренная цена 2,8 Проверяет заполненность вместо типа значения
14 Kimi K2.7 CodeMoonshot 1
10:21
3
4
$0,94
Слабое: верное направление, но недочёты оформления и высокий расход 2,8 Верное направление, но дороговато и есть недочёты патча
17 Kimi K3Moonshot 2
20:0732:557:19
3
3,534
$2,60сумма $5,21
Слабое: долго и дорого, оба запуска с узкой проверкой 2,5 Оба запуска проверяют только NULL; default — самый долгий и дорогой в тесте
17 Qwen 3.8 FlashAlibaba 1
19:25
3
2
$0,13
Среднее: верная точка, но долгий поиск и смешанный русский/английский ответ 2,5 Нашла точку, но поиск затянулся, ответ частично на английском
19 Gemini 4 ArgonGoogle 1
24:47
5
2
$1,57
Плохое: правильный патч, но 25 минут и очень дорого 2,3 Правильный патч при крайне долгом поиске
20 Gemini 4 CarbonGoogle 1
—
1
1
$1,03
Не справилась: результата нет, расход всё равно высокий 1,0 Модель вообще не справилась с задачей, тест остановлен
Время: до 4 мин — 5, до 6 — 4, до 9 — 3, до 13 — 2, дольше — 1 Расход: до $0,05 — 5, до $0,15 — 4, до $0,35 — 3, до $1 — 2, дороже — 1 Качество и понятность — экспертная оценка по тексту ответа

7. Выводы

Качество решения

Нужный участок нашли почти все модели. Различие в том, что именно они защищают. Эталон проверяет тип значения. Проверка «только NULL» или «только Неопределено» покрывает один предполагаемый случай и оставляет второй.

Стабильность

GLM‑5.3 Flash запускалась четыре раза и дала четыре разных результата: один верный, один частичный и два неверных. Средний балл 3,2 скрывает этот разброс, поэтому модель пригодна только с обязательной проверкой результата.

GPT‑6.1 Terra в трёх запусках (low дважды и medium) дала одинаково верный результат за 3:30–4:59. Это наиболее предсказуемый вариант в тесте.

Лучшее соотношение цены и качества

  1. GPT‑6 Luna — 4,5 при расходе около $0,055.
  2. GPT‑6.1 Terra — 4,6 при расходе около $0,15 за запуск.
  3. DeepSeek V4.1 Flash — 3,8 при $0,052, самый дешёвый верный результат.

Дорогие запуски

GPT 6.1 Astra ($1,48), Gemini 4 Argon ($1,57), Claude Fable 5.2 ($1,28) и Kimi K3 ($2,60 за запуск в среднем) дали хороший или верный результат, но их цена несопоставима с Terra при близком качестве.

Наблюдения по поведению

Как читать итог

Средний балл по модели скрывает провалы. Наглядный пример — Claude Haiku 5.5: качество решения 1, то есть задача не решена, но за счёт дешёвого и быстрого ответа итог 3,3, выше, чем у верных, но медленных моделей. При выборе сначала стоит отсекать модели с качеством решения ниже 3 и только потом сравнивать итог и цену.

8. Ограничения