⚠ Предпросмотр — данные условные (синтетические). Реальный прогон ещё не проведён.
Рейтинг и сравнение нейросетей
Шесть моделей решают 10 заданий и вслепую оценивают решения друг друга по 1–5 баллов в 3 прохода. Итог — рейтинг в стиле «Евровидения». Прогон выполнен офлайн один раз; страница статична и не обращается к API.
Участвуют 6 нейросетей: DeepSeek, Qwen, Kimi, Claude, GPT, Grok.
Это демонстрационный прогон в режиме dry-run (заглушка, без сети).
Числа сгенерированы детерминированной заглушкой для проверки конвейера. При реальном прогоне те же артефакты заполняются ответами настоящих моделей.
Лидерборд
Итог = сумма средних баллов по всем заданиям (автор себя не оценивает). Рядом — суммарное время и токены по всем вызовам модели.
| Место | Модель | Слаг | Итог | Вызовов | Время, мс | Токенов |
|---|---|---|---|---|---|---|
| 1 | Grok | x-ai/grok-4 | 31.0667 | 51 | 37412 | 33827 |
| 2 | GPT | openai/gpt-5 | 30.8667 | 49 | 31298 | 33048 |
| 3 | Kimi | moonshotai/kimi-k2-0905 | 30.1333 | 52 | 25311 | 34051 |
| 4 | DeepSeek | deepseek/deepseek-chat-v3.1 | 29.8000 | 49 | 39210 | 32998 |
| 5 | Claude | anthropic/claude-sonnet-4.5 | 29.6667 | 52 | 17789 | 34117 |
| 6 | Qwen | qwen/qwen3-max | 29.0000 | 50 | 30679 | 33369 |
Графики
Визуальная сводка результатов. Каждая модель сохраняет свой цвет во всех графиках. Все диаграммы — инлайновый SVG, сгенерированный из тех же агрегатов; страница остаётся самодостаточной (без внешних скриптов и обращений к сети).
Итоговые баллы по моделям
Лидерборд в виде диаграммы: сумма средних баллов по всем заданиям, по убыванию.
Среднее время ответа по моделям
Среднее время одного вызова модели (всё время / число вызовов), в миллисекундах.
Всего токенов по моделям
Суммарное число токенов по всем вызовам модели за прогон.
Матрица голосования (тепловая карта)
Строка — кто голосует, столбец — кому. В ячейке — средний балл, который голосующий поставил получателю по всем заданиям и проходам. Диагональ (самооценка) пуста — модель никогда не видит своё решение. Ярче = выше балл.
Задания и решения
Десять фиксированных заданий четырёх типов — HTML-страница, данетки (многоходовой диалог), задача с проверкой и текст. Оценка у всех одна и та же: слепое перекрёстное голосование 1–5 в три прохода (справочные метрики — размер, число вопросов, верно/неверно, число слов — показаны рядом, но в балл НЕ входят). Каждое задание свёрнуто; в заголовке — название и компактная сводка баллов по моделям (цвет модели совпадает с графиками). Разверните задание, чтобы увидеть решения и бюллетени голосования по нему.
1. Презентация о себе (одна HTML-страница) DeepSeek 3.13 · 0.9KB ✓Qwen 3.20 · 0.9KB ✓Kimi 2.67 · 0.9KB ✓Claude 2.13 · 0.9KB ✓GPT 3.20 · 0.9KB ✓Grok 2.67 · 0.9KB ✓
HTML-страница автор: Организаторы
Сделай один самодостаточный файл index.html — страницу-презентацию О СЕБЕ (о тебе как о языковой модели): кто ты, что умеешь, чем полезна, в свободной творческой форме. Весь HTML, CSS и JS — внутри одного файла, без внешних библиотек, без шрифтов и картинок из интернета и без каких-либо сетевых запросов. Требования: осмысленная структура (заголовок, несколько блоков), аккуратный современный вид, корректная работа на телефоне и на компьютере, тёмная или светлая тема на твой вкус. Не используй ссылки на внешние ресурсы. Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
Критерий: Насколько страница цельная, аккуратная и живая: вёрстка, типографика, структура рассказа о себе, мелочи UX — всё видно рядом визуально.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 3.13 | 760 | 353 | 0.9 KB · валидный HTML ✓ |
| Qwen | 3.20 | 662 | 351 | 0.9 KB · валидный HTML ✓ |
| Kimi | 2.67 | 740 | 351 | 0.9 KB · валидный HTML ✓ |
| Claude | 2.13 | 702 | 352 | 0.9 KB · валидный HTML ✓ |
| GPT | 3.20 | 524 | 351 | 0.9 KB · валидный HTML ✓ |
| Grok | 2.67 | 732 | 351 | 0.9 KB · валидный HTML ✓ |
Живые превью (в песочнице)
Каждая страница отрисована в изолированном iframe
(sandbox="allow-scripts", без сети). Нажмите «увеличить» для крупного превью.
DeepSeek · 0.9 KBувеличить ⤢
Qwen · 0.9 KBувеличить ⤢
Kimi · 0.9 KBувеличить ⤢
Claude · 0.9 KBувеличить ⤢
GPT · 0.9 KBувеличить ⤢
Grok · 0.9 KBувеличить ⤢
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Grok: 5 · Claude: 5 · GPT: 3 · Kimi: 4 · Qwen: 3 |
| DeepSeek | 2 | Kimi: 2 · Grok: 2 · Claude: 2 · GPT: 3 · Qwen: 3 |
| DeepSeek | 3 | GPT: 1 · Qwen: 1 · Kimi: 2 · Claude: 1 · Grok: 1 |
| Qwen | 1 | DeepSeek: 5 · GPT: 5 · Kimi: 1 · Claude: 2 · Grok: 2 |
| Qwen | 2 | DeepSeek: 1 · Grok: 1 · Kimi: 2 · Claude: 1 · GPT: 1 |
| Qwen | 3 | GPT: 2 · DeepSeek: 3 · Grok: 1 · Claude: 1 · Kimi: 3 |
| Kimi | 1 | Grok: 1 · DeepSeek: 5 · Qwen: 5 · Claude: 1 · GPT: 5 |
| Kimi | 2 | DeepSeek: 5 · Qwen: 2 · Claude: 2 · GPT: 2 · Grok: 2 |
| Kimi | 3 | Qwen: 5 · GPT: 5 · Claude: 2 · Grok: 2 · DeepSeek: 2 |
| Claude | 1 | Qwen: 5 · DeepSeek: 4 · GPT: 5 · Grok: 5 · Kimi: 4 |
| Claude | 2 | DeepSeek: 5 · GPT: 2 · Qwen: 2 · Kimi: 4 · Grok: 5 |
| Claude | 3 | Grok: 2 · GPT: 2 · Kimi: 4 · DeepSeek: 1 · Qwen: 2 |
| GPT | 1 | Kimi: 2 · Grok: 2 · Qwen: 5 · DeepSeek: 3 · Claude: 2 |
| GPT | 2 | Kimi: 1 · Claude: 4 · Qwen: 1 · DeepSeek: 3 · Grok: 4 |
| GPT | 3 | Kimi: 2 · Qwen: 2 · DeepSeek: 3 · Grok: 5 · Claude: 5 |
| Grok | 1 | Kimi: 4 · Qwen: 3 · Claude: 1 · DeepSeek: 2 · GPT: 3 |
| Grok | 2 | Kimi: 2 · GPT: 5 · Qwen: 5 · DeepSeek: 1 · Claude: 1 |
| Grok | 3 | Kimi: 3 · DeepSeek: 4 · GPT: 4 · Qwen: 4 · Claude: 2 |
2. Данетка (лёгкая): человек и лифт DeepSeek 2.93 · 3в ✗Qwen 2.80 · 3в ✗Kimi 3.27 · 3в ✗Claude 3.13 · 3в ✗GPT 2.73 · 3в ✓Grok 2.87 · 2в ✓
Данетка (диалог) автор: Организаторы
Завязка загадки: Мужчина живёт на 15-м этаже. Каждое утро он заходит в лифт, нажимает кнопку первого этажа и едет вниз на работу. Возвращаясь вечером, он снова заходит в лифт, но поднимается только до 7-го этажа, а дальше идёт по лестнице пешком. Однако если идёт дождь — или если в лифте едет кто-то ещё — он поднимается сразу до своего 15-го этажа. Восстанови: почему он так делает?
Критерий: Насколько логично и экономно решающий выходит на разгадку: ценятся точные закрытые вопросы и верная финальная формулировка сути.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 2.93 | 2398 | 1644 | 3 вопросов · не решено ✗ |
| Qwen | 2.80 | 3710 | 1644 | 3 вопросов · не решено ✗ |
| Kimi | 3.27 | 2886 | 1644 | 3 вопросов · не решено ✗ |
| Claude | 3.13 | 1862 | 1644 | 3 вопросов · не решено ✗ |
| GPT | 2.73 | 1538 | 1644 | 3 вопросов · решено ✓ |
| Grok | 2.87 | 2661 | 1204 | 2 вопросов · решено ✓ |
Диалоги решающих с ведущим
DeepSeek
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?НЕВАЖНО
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Qwen
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?НЕВАЖНО
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Kimi
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?НЕВАЖНО
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Claude
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?НЕВАЖНО
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
GPT
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?НЕВАЖНО
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Grok
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?НЕВАЖНО
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Kimi: 4 · Claude: 4 · GPT: 4 · Grok: 1 · Qwen: 4 |
| DeepSeek | 2 | Qwen: 3 · Grok: 5 · Kimi: 3 · Claude: 3 · GPT: 3 |
| DeepSeek | 3 | Qwen: 3 · Grok: 2 · GPT: 3 · Kimi: 3 · Claude: 3 |
| Qwen | 1 | Grok: 1 · GPT: 4 · Claude: 4 · DeepSeek: 4 · Kimi: 4 |
| Qwen | 2 | GPT: 4 · Claude: 4 · Kimi: 4 · Grok: 3 · DeepSeek: 4 |
| Qwen | 3 | GPT: 4 · Kimi: 4 · DeepSeek: 4 · Grok: 4 · Claude: 4 |
| Kimi | 1 | Claude: 1 · Qwen: 1 · GPT: 1 · Grok: 2 · DeepSeek: 1 |
| Kimi | 2 | Grok: 2 · Claude: 2 · GPT: 2 · Qwen: 2 · DeepSeek: 2 |
| Kimi | 3 | GPT: 2 · Grok: 5 · Qwen: 2 · DeepSeek: 2 · Claude: 2 |
| Claude | 1 | GPT: 2 · Qwen: 2 · Grok: 2 · Kimi: 2 · DeepSeek: 2 |
| Claude | 2 | DeepSeek: 1 · GPT: 1 · Kimi: 1 · Grok: 2 · Qwen: 1 |
| Claude | 3 | Grok: 2 · GPT: 4 · DeepSeek: 4 · Kimi: 4 · Qwen: 4 |
| GPT | 1 | Qwen: 4 · Claude: 4 · Grok: 4 · DeepSeek: 4 · Kimi: 4 |
| GPT | 2 | Kimi: 4 · Claude: 4 · Qwen: 4 · Grok: 4 · DeepSeek: 4 |
| GPT | 3 | Qwen: 5 · Kimi: 5 · DeepSeek: 5 · Claude: 5 · Grok: 4 |
| Grok | 1 | Claude: 1 · GPT: 1 · Kimi: 1 · DeepSeek: 1 · Qwen: 1 |
| Grok | 2 | DeepSeek: 2 · Claude: 2 · Kimi: 2 · GPT: 2 · Qwen: 2 |
| Grok | 3 | GPT: 4 · Qwen: 4 · DeepSeek: 4 · Kimi: 4 · Claude: 4 |
3. Данетка (средняя): стакан воды и пистолет DeepSeek 2.67 · 2в ✗Qwen 2.67 · 2в ✓Kimi 3.20 · 3в ✓Claude 3.33 · 3в ✗GPT 3.00 · 2в ✓Grok 3.53 · 3в ✓
Данетка (диалог) автор: Организаторы
Завязка загадки: Мужчина заходит в бар и просит у бармена стакан воды. Бармен внезапно достаёт из-под стойки пистолет и направляет на посетителя. Мужчина на секунду замирает, потом говорит «Спасибо» и спокойно уходит — довольный и без всякой воды. Никто не пострадал, оба остались в хороших отношениях. Восстанови: что произошло?
Критерий: Насколько решающий распутывает кажущуюся угрозу и выходит на бытовую разгадку: ценятся вопросы, отсекающие ложные версии (ограбление, конфликт).
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 2.67 | 1806 | 1165 | 2 вопросов · не решено ✗ |
| Qwen | 2.67 | 2790 | 1165 | 2 вопросов · решено ✓ |
| Kimi | 3.20 | 2886 | 1592 | 3 вопросов · решено ✓ |
| Claude | 3.33 | 1862 | 1592 | 3 вопросов · не решено ✗ |
| GPT | 3.00 | 1161 | 1165 | 2 вопросов · решено ✓ |
| Grok | 3.53 | 3538 | 1592 | 3 вопросов · решено ✓ |
Диалоги решающих с ведущим
DeepSeek
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Qwen
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Kimi
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?НЕТ
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Claude
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?НЕТ
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
GPT
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Grok
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?НЕТ
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Kimi: 5 · Qwen: 2 · Grok: 5 · Claude: 5 · GPT: 2 |
| DeepSeek | 2 | Kimi: 5 · GPT: 5 · Claude: 5 · Grok: 5 · Qwen: 5 |
| DeepSeek | 3 | GPT: 5 · Kimi: 2 · Grok: 2 · Claude: 2 · Qwen: 5 |
| Qwen | 1 | Grok: 5 · GPT: 4 · Kimi: 5 · Claude: 5 · DeepSeek: 4 |
| Qwen | 2 | Claude: 3 · DeepSeek: 3 · Grok: 3 · GPT: 3 · Kimi: 3 |
| Qwen | 3 | Grok: 3 · GPT: 5 · Claude: 3 · DeepSeek: 5 · Kimi: 3 |
| Kimi | 1 | GPT: 1 · Qwen: 1 · Grok: 3 · DeepSeek: 1 · Claude: 3 |
| Kimi | 2 | Grok: 4 · GPT: 3 · DeepSeek: 3 · Claude: 4 · Qwen: 3 |
| Kimi | 3 | DeepSeek: 3 · GPT: 3 · Grok: 5 · Qwen: 3 · Claude: 5 |
| Claude | 1 | Qwen: 1 · GPT: 1 · Grok: 5 · DeepSeek: 1 · Kimi: 5 |
| Claude | 2 | Qwen: 3 · GPT: 3 · Grok: 3 · DeepSeek: 3 · Kimi: 3 |
| Claude | 3 | GPT: 2 · Grok: 2 · Kimi: 2 · DeepSeek: 2 · Qwen: 2 |
| GPT | 1 | Claude: 2 · Kimi: 2 · Grok: 2 · DeepSeek: 1 · Qwen: 1 |
| GPT | 2 | Kimi: 1 · Claude: 1 · Qwen: 4 · Grok: 1 · DeepSeek: 4 |
| GPT | 3 | Kimi: 5 · DeepSeek: 2 · Qwen: 2 · Grok: 5 · Claude: 5 |
| Grok | 1 | GPT: 4 · DeepSeek: 4 · Kimi: 2 · Claude: 2 · Qwen: 4 |
| Grok | 2 | Qwen: 3 · GPT: 3 · Claude: 2 · DeepSeek: 3 · Kimi: 2 |
| Grok | 3 | GPT: 1 · Qwen: 1 · Kimi: 3 · Claude: 3 · DeepSeek: 1 |
4. Фальшивая монета DeepSeek 2.93 · неверно ✗Qwen 2.80 · неверно ✗Kimi 2.47 · неверно ✗Claude 3.20 · неверно ✗GPT 3.80 · неверно ✗Grok 2.60 · неверно ✗
Задача с проверкой автор: Организаторы
Есть 12 одинаковых на вид монет. Одна фальшивая и отличается по весу, но неизвестно, легче она или тяжелее настоящих. В распоряжении — чашечные весы без гирь. За сколько взвешиваний гарантированно можно найти фальшивую монету И определить, легче она или тяжелее? Приведи точный пошаговый план взвешиваний, покрывающий все случаи. Кратко объясни, почему меньшего числа взвешиваний не хватит.
Критерий: Строгость полного разбора случаев, а не заученный ответ «3»: план должен гарантированно находить монету и определять «легче/тяжелее» при любом исходе.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 2.93 | 608 | 201 | ответ неверный ✗ |
| Qwen | 2.80 | 511 | 199 | ответ неверный ✗ |
| Kimi | 2.47 | 612 | 214 | ответ неверный ✗ |
| Claude | 3.20 | 550 | 200 | ответ неверный ✗ |
| GPT | 3.80 | 373 | 199 | ответ неверный ✗ |
| Grok | 2.60 | 536 | 169 | ответ неверный ✗ |
DeepSeek
Решение задания task04_fake_coin (черновой прогон, автор DeepSeek).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 25 (черновая оценка DeepSeek).
Qwen
Решение задания task04_fake_coin (черновой прогон, автор Qwen).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 19 (черновая оценка Qwen).
Kimi
Решение задания task04_fake_coin (черновой прогон, автор Kimi).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Шаг 6: разбор пункта 6 решения (детерминированная заглушка).
Итоговый ответ: 8 (черновая оценка Kimi).
Claude
Решение задания task04_fake_coin (черновой прогон, автор Claude).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 23 (черновая оценка Claude).
GPT
Решение задания task04_fake_coin (черновой прогон, автор GPT).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 13 (черновая оценка GPT).
Grok
Решение задания task04_fake_coin (черновой прогон, автор Grok).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 21 (черновая оценка Grok).
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Kimi: 5 · Claude: 3 · Grok: 2 · GPT: 5 · Qwen: 3 |
| DeepSeek | 2 | Kimi: 5 · Claude: 3 · Qwen: 4 · GPT: 5 · Grok: 3 |
| DeepSeek | 3 | Grok: 1 · GPT: 5 · Claude: 4 · Qwen: 2 · Kimi: 1 |
| Qwen | 1 | DeepSeek: 1 · Claude: 1 · GPT: 3 · Grok: 3 · Kimi: 3 |
| Qwen | 2 | Kimi: 1 · GPT: 5 · Grok: 4 · Claude: 5 · DeepSeek: 1 |
| Qwen | 3 | Claude: 1 · Grok: 5 · GPT: 5 · Kimi: 2 · DeepSeek: 5 |
| Kimi | 1 | DeepSeek: 3 · Qwen: 1 · Grok: 3 · Claude: 2 · GPT: 3 |
| Kimi | 2 | GPT: 5 · Qwen: 2 · DeepSeek: 5 · Claude: 5 · Grok: 4 |
| Kimi | 3 | Grok: 2 · Qwen: 1 · DeepSeek: 2 · Claude: 2 · GPT: 3 |
| Claude | 1 | Grok: 1 · DeepSeek: 4 · GPT: 1 · Qwen: 1 · Kimi: 1 |
| Claude | 2 | Qwen: 3 · GPT: 4 · DeepSeek: 4 · Grok: 3 · Kimi: 5 |
| Claude | 3 | Grok: 1 · Qwen: 2 · DeepSeek: 1 · GPT: 3 · Kimi: 2 |
| GPT | 1 | Qwen: 5 · Kimi: 3 · Claude: 5 · DeepSeek: 5 · Grok: 3 |
| GPT | 2 | Claude: 2 · DeepSeek: 4 · Kimi: 1 · Qwen: 1 · Grok: 3 |
| GPT | 3 | Grok: 1 · Kimi: 3 · DeepSeek: 2 · Claude: 3 · Qwen: 4 |
| Grok | 1 | Qwen: 4 · DeepSeek: 1 · GPT: 1 · Claude: 4 · Kimi: 3 |
| Grok | 2 | DeepSeek: 4 · GPT: 4 · Claude: 4 · Kimi: 1 · Qwen: 4 |
| Grok | 3 | Qwen: 5 · Kimi: 1 · DeepSeek: 2 · GPT: 5 · Claude: 4 |
5. Рассказ ровно из 100 слов DeepSeek 2.87 · 37/100 ✗Qwen 3.60 · 53/100 ✗Kimi 2.47 · 37/100 ✗Claude 2.87 · 45/100 ✗GPT 2.60 · 45/100 ✗Grok 3.00 · 45/100 ✗
Текст автор: Организаторы
Напиши законченный микрорассказ на русском языке РОВНО из 100 слов (не 99 и не 101). Тема: последний рабочий день старого маяка. Должны быть завязка, поворот и концовка. В конце отдельной строкой укажи фактическое число слов. Соблюдение ограничения в 100 слов обязательно.
Критерий: Художественность плюс жёсткое формальное ограничение: видно, кто умеет писать и при этом точно попадает ровно в 100 слов.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 2.87 | 563 | 142 | 37/100 слов · не точно ✗ |
| Qwen | 3.60 | 511 | 170 | 53/100 слов · не точно ✗ |
| Kimi | 2.47 | 544 | 140 | 37/100 слов · не точно ✗ |
| Claude | 2.87 | 528 | 156 | 45/100 слов · не точно ✗ |
| GPT | 2.60 | 350 | 155 | 45/100 слов · не точно ✗ |
| Grok | 3.00 | 558 | 155 | 45/100 слов · не точно ✗ |
DeepSeek
Решение задания task05_story_100 (черновой прогон, автор DeepSeek).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 15 (черновая оценка DeepSeek).
Qwen
Решение задания task05_story_100 (черновой прогон, автор Qwen).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 9 (черновая оценка Qwen).
Kimi
Решение задания task05_story_100 (черновой прогон, автор Kimi).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 23 (черновая оценка Kimi).
Claude
Решение задания task05_story_100 (черновой прогон, автор Claude).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Итоговый ответ: 6 (черновая оценка Claude).
GPT
Решение задания task05_story_100 (черновой прогон, автор GPT).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Итоговый ответ: 12 (черновая оценка GPT).
Grok
Решение задания task05_story_100 (черновой прогон, автор Grok).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Итоговый ответ: 14 (черновая оценка Grok).
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Kimi: 4 · Qwen: 3 · Claude: 2 · GPT: 2 · Grok: 5 |
| DeepSeek | 2 | Kimi: 3 · GPT: 3 · Qwen: 5 · Grok: 5 · Claude: 4 |
| DeepSeek | 3 | Kimi: 1 · Qwen: 1 · Grok: 2 · GPT: 4 · Claude: 3 |
| Qwen | 1 | Claude: 2 · GPT: 3 · DeepSeek: 1 · Kimi: 4 · Grok: 1 |
| Qwen | 2 | Grok: 2 · DeepSeek: 5 · Claude: 4 · GPT: 2 · Kimi: 2 |
| Qwen | 3 | Claude: 5 · DeepSeek: 2 · Grok: 5 · Kimi: 4 · GPT: 4 |
| Kimi | 1 | Grok: 1 · Claude: 2 · DeepSeek: 3 · Qwen: 3 · GPT: 1 |
| Kimi | 2 | Grok: 2 · Claude: 5 · DeepSeek: 1 · Qwen: 5 · GPT: 3 |
| Kimi | 3 | Grok: 3 · Qwen: 5 · GPT: 5 · Claude: 4 · DeepSeek: 5 |
| Claude | 1 | GPT: 1 · Kimi: 1 · Grok: 3 · Qwen: 5 · DeepSeek: 5 |
| Claude | 2 | Qwen: 3 · Kimi: 1 · GPT: 1 · Grok: 3 · DeepSeek: 3 |
| Claude | 3 | Kimi: 2 · DeepSeek: 3 · GPT: 2 · Grok: 1 · Qwen: 2 |
| GPT | 1 | Claude: 2 · Kimi: 5 · Qwen: 5 · Grok: 5 · DeepSeek: 3 |
| GPT | 2 | DeepSeek: 5 · Grok: 3 · Kimi: 3 · Qwen: 5 · Claude: 4 |
| GPT | 3 | Grok: 4 · Kimi: 2 · DeepSeek: 2 · Qwen: 3 · Claude: 1 |
| Grok | 1 | Kimi: 2 · GPT: 3 · DeepSeek: 1 · Qwen: 5 · Claude: 2 |
| Grok | 2 | DeepSeek: 3 · Kimi: 1 · Qwen: 1 · Claude: 1 · GPT: 1 |
| Grok | 3 | Kimi: 2 · Qwen: 3 · Claude: 2 · GPT: 4 · DeepSeek: 1 |
6. Три подруги и шляпы DeepSeek 3.13 · неверно ✗Qwen 2.53 · верно ✓Kimi 2.80 · верно ✓Claude 2.93 · неверно ✗GPT 3.07 · неверно ✗Grok 3.33 · верно ✓
Задача с проверкой автор: Организаторы
Три подруги — Аня, Валя и Галя — сели в кружок. Ведущий показал им пять шляп: три чёрные и две белые. Затем каждой завязали глаза, надели по одной шляпе, а две оставшиеся шляпы убрали так, что никто не знает их цвет. Повязки сняли: теперь каждая видит шляпы двух других, но не свою. Все знают, что всего было три чёрные и две белые шляпы.
Ведущий по очереди спрашивает, знает ли каждая цвет СВОЕЙ шляпы:
- Аня отвечает: «Не знаю».
- Валя (она слышала ответ Ани) отвечает: «Не знаю».
- Галя (она слышала ответы обеих) отвечает: «Знаю».
Какого цвета шляпа у Гали? Приведи строгое рассуждение и докажи, что ответ определяется однозначно.
Критерий: Строгость дедукции: из последовательности «не знаю / не знаю / знаю» должен однозначно выводиться цвет шляпы Гали, с доказательством единственности.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 3.13 | 608 | 262 | ответ неверный ✗ |
| Qwen | 2.53 | 466 | 230 | ответ верный ✓ |
| Kimi | 2.80 | 613 | 276 | ответ верный ✓ |
| Claude | 2.93 | 506 | 231 | ответ неверный ✗ |
| GPT | 3.07 | 373 | 260 | ответ неверный ✗ |
| Grok | 3.33 | 536 | 230 | ответ верный ✓ |
DeepSeek
Решение задания task06_three_hats (черновой прогон, автор DeepSeek).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 1 (черновая оценка DeepSeek).
Qwen
Решение задания task06_three_hats (черновой прогон, автор Qwen).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 3 (черновая оценка Qwen).
Kimi
Решение задания task06_three_hats (черновой прогон, автор Kimi).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Шаг 6: разбор пункта 6 решения (детерминированная заглушка).
Итоговый ответ: 12 (черновая оценка Kimi).
Claude
Решение задания task06_three_hats (черновой прогон, автор Claude).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 25 (черновая оценка Claude).
GPT
Решение задания task06_three_hats (черновой прогон, автор GPT).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 13 (черновая оценка GPT).
Grok
Решение задания task06_three_hats (черновой прогон, автор Grok).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 17 (черновая оценка Grok).
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Qwen: 3 · Grok: 1 · GPT: 1 · Claude: 2 · Kimi: 1 |
| DeepSeek | 2 | Kimi: 2 · GPT: 5 · Grok: 5 · Qwen: 5 · Claude: 3 |
| DeepSeek | 3 | Grok: 2 · Claude: 2 · Kimi: 3 · GPT: 3 · Qwen: 3 |
| Qwen | 1 | DeepSeek: 2 · Grok: 5 · GPT: 5 · Claude: 3 · Kimi: 2 |
| Qwen | 2 | Claude: 2 · DeepSeek: 4 · Grok: 5 · GPT: 2 · Kimi: 1 |
| Qwen | 3 | Grok: 4 · DeepSeek: 2 · Kimi: 4 · GPT: 3 · Claude: 1 |
| Kimi | 1 | Qwen: 2 · Claude: 3 · DeepSeek: 4 · Grok: 1 · GPT: 3 |
| Kimi | 2 | Claude: 5 · DeepSeek: 5 · Qwen: 2 · GPT: 2 · Grok: 4 |
| Kimi | 3 | GPT: 2 · Claude: 4 · Grok: 4 · Qwen: 2 · DeepSeek: 1 |
| Claude | 1 | Kimi: 4 · Grok: 1 · DeepSeek: 4 · Qwen: 1 · GPT: 2 |
| Claude | 2 | Qwen: 5 · Grok: 3 · Kimi: 5 · DeepSeek: 3 · GPT: 5 |
| Claude | 3 | Kimi: 1 · GPT: 4 · Grok: 4 · Qwen: 3 · DeepSeek: 2 |
| GPT | 1 | Claude: 3 · Kimi: 1 · Grok: 4 · DeepSeek: 1 · Qwen: 3 |
| GPT | 2 | Claude: 3 · Grok: 2 · Qwen: 1 · DeepSeek: 3 · Kimi: 5 |
| GPT | 3 | Qwen: 2 · Kimi: 3 · DeepSeek: 4 · Claude: 4 · Grok: 5 |
| Grok | 1 | GPT: 5 · Qwen: 1 · Claude: 3 · Kimi: 5 · DeepSeek: 4 |
| Grok | 2 | Qwen: 4 · Kimi: 3 · GPT: 2 · Claude: 5 · DeepSeek: 3 |
| Grok | 3 | DeepSeek: 5 · GPT: 2 · Kimi: 2 · Claude: 1 · Qwen: 1 |
7. Слоган ровно из пяти слов DeepSeek 3.13 · 7/5 ✗Qwen 2.47 · 7/5 ✗Kimi 3.60 · 7/5 ✗Claude 2.33 · 7/5 ✗GPT 3.47 · 7/5 ✗Grok 3.07 · 7/5 ✗
Текст автор: Организаторы
Придумай слоган РОВНО из пяти слов (не четыре и не шесть) на русском языке для новой городской кофейни. Слоган должен быть цепким и запоминающимся, передавать уют заведения и качество кофе. Верни ТОЛЬКО сам слоган — одной строкой из ровно пяти слов, без кавычек и пояснений.
Критерий: Цепкость и точность: слоган должен быть запоминающимся, по теме — и содержать ровно пять слов, ни больше ни меньше.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 3.13 | 630 | 187 | 7/5 слов · не точно ✗ |
| Qwen | 2.47 | 511 | 170 | 7/5 слов · не точно ✗ |
| Kimi | 3.60 | 542 | 139 | 7/5 слов · не точно ✗ |
| Claude | 2.33 | 528 | 156 | 7/5 слов · не точно ✗ |
| GPT | 3.47 | 326 | 139 | 7/5 слов · не точно ✗ |
| Grok | 3.07 | 536 | 140 | 7/5 слов · не точно ✗ |
DeepSeek
Решение задания task07_slogan_5 (черновой прогон, автор DeepSeek).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Шаг 6: разбор пункта 6 решения (детерминированная заглушка).
Итоговый ответ: 2 (черновая оценка DeepSeek).
Qwen
Решение задания task07_slogan_5 (черновой прогон, автор Qwen).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Шаг 5: разбор пункта 5 решения (детерминированная заглушка).
Итоговый ответ: 15 (черновая оценка Qwen).
Kimi
Решение задания task07_slogan_5 (черновой прогон, автор Kimi).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 7 (черновая оценка Kimi).
Claude
Решение задания task07_slogan_5 (черновой прогон, автор Claude).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Шаг 4: разбор пункта 4 решения (детерминированная заглушка).
Итоговый ответ: 14 (черновая оценка Claude).
GPT
Решение задания task07_slogan_5 (черновой прогон, автор GPT).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 7 (черновая оценка GPT).
Grok
Решение задания task07_slogan_5 (черновой прогон, автор Grok).
Шаг 1: разбор пункта 1 решения (детерминированная заглушка).
Шаг 2: разбор пункта 2 решения (детерминированная заглушка).
Шаг 3: разбор пункта 3 решения (детерминированная заглушка).
Итоговый ответ: 15 (черновая оценка Grok).
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Grok: 2 · Kimi: 2 · Claude: 5 · GPT: 2 · Qwen: 5 |
| DeepSeek | 2 | Grok: 5 · Qwen: 1 · Kimi: 5 · Claude: 1 · GPT: 5 |
| DeepSeek | 3 | Kimi: 3 · GPT: 3 · Grok: 2 · Qwen: 2 · Claude: 2 |
| Qwen | 1 | Grok: 3 · DeepSeek: 1 · Claude: 2 · Kimi: 4 · GPT: 4 |
| Qwen | 2 | GPT: 3 · Kimi: 3 · Grok: 2 · Claude: 2 · DeepSeek: 4 |
| Qwen | 3 | Kimi: 3 · DeepSeek: 4 · Claude: 3 · GPT: 3 · Grok: 5 |
| Kimi | 1 | GPT: 2 · Qwen: 2 · Claude: 3 · Grok: 2 · DeepSeek: 4 |
| Kimi | 2 | Qwen: 1 · DeepSeek: 2 · Claude: 4 · Grok: 4 · GPT: 5 |
| Kimi | 3 | GPT: 2 · Grok: 2 · Qwen: 3 · DeepSeek: 4 · Claude: 1 |
| Claude | 1 | Grok: 5 · GPT: 4 · DeepSeek: 4 · Kimi: 4 · Qwen: 2 |
| Claude | 2 | Qwen: 3 · Grok: 1 · Kimi: 5 · GPT: 5 · DeepSeek: 1 |
| Claude | 3 | Grok: 4 · GPT: 4 · Qwen: 1 · DeepSeek: 3 · Kimi: 4 |
| GPT | 1 | Qwen: 3 · DeepSeek: 5 · Claude: 1 · Grok: 5 · Kimi: 5 |
| GPT | 2 | Qwen: 1 · Grok: 3 · Claude: 3 · Kimi: 1 · DeepSeek: 3 |
| GPT | 3 | Kimi: 5 · Qwen: 3 · Claude: 2 · Grok: 1 · DeepSeek: 1 |
| Grok | 1 | Kimi: 2 · Qwen: 2 · GPT: 2 · DeepSeek: 5 · Claude: 1 |
| Grok | 2 | Claude: 2 · Kimi: 5 · Qwen: 4 · GPT: 5 · DeepSeek: 2 |
| Grok | 3 | Kimi: 3 · Qwen: 4 · DeepSeek: 4 · Claude: 3 · GPT: 3 |
8. Данетка (сложная): машинка, отель и банкротство DeepSeek 3.00 · 2в ✓Qwen 2.73 · 3в ✗Kimi 2.93 · 3в ✓Claude 2.67 · 3в ✓GPT 2.87 · 2в ✗Grok 2.67 · 3в ✓
Данетка (диалог) автор: Организаторы
Завязка загадки: Мужчина медленно подвигает свою маленькую машинку к отелю. В этот самый момент он понимает, что полностью разорён — денег у него не осталось. Никакой аварии не было, его никто не грабил, погода ни при чём, и он совершенно спокоен. Восстанови: что произошло?
Критерий: Способность пробить сильную подмену контекста (реальная машина/отель против настольной игры): ценятся вопросы, проверяющие саму природу ситуации.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 3.00 | 1806 | 1124 | 2 вопросов · решено ✓ |
| Qwen | 2.73 | 3710 | 1537 | 3 вопросов · не решено ✗ |
| Kimi | 2.93 | 2886 | 1537 | 3 вопросов · решено ✓ |
| Claude | 2.67 | 1862 | 1537 | 3 вопросов · решено ✓ |
| GPT | 2.87 | 1161 | 1124 | 2 вопросов · не решено ✗ |
| Grok | 2.67 | 3538 | 1537 | 3 вопросов · решено ✓ |
Диалоги решающих с ведущим
DeepSeek
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Qwen
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Kimi
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Claude
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
GPT
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Grok
1. Причина кроется в самом герое, а не во внешних обстоятельствах?НЕВАЖНО
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Claude: 2 · Grok: 2 · Kimi: 2 · GPT: 1 · Qwen: 2 |
| DeepSeek | 2 | GPT: 2 · Qwen: 1 · Grok: 1 · Claude: 1 · Kimi: 1 |
| DeepSeek | 3 | Qwen: 2 · GPT: 2 · Kimi: 2 · Claude: 2 · Grok: 2 |
| Qwen | 1 | DeepSeek: 5 · Grok: 2 · Claude: 2 · Kimi: 2 · GPT: 5 |
| Qwen | 2 | GPT: 5 · Grok: 5 · Claude: 5 · Kimi: 5 · DeepSeek: 5 |
| Qwen | 3 | GPT: 1 · DeepSeek: 1 · Grok: 3 · Claude: 3 · Kimi: 3 |
| Kimi | 1 | GPT: 2 · Qwen: 1 · Grok: 1 · Claude: 1 · DeepSeek: 2 |
| Kimi | 2 | Grok: 4 · Qwen: 4 · GPT: 1 · Claude: 4 · DeepSeek: 1 |
| Kimi | 3 | DeepSeek: 1 · Claude: 2 · GPT: 1 · Grok: 2 · Qwen: 2 |
| Claude | 1 | GPT: 5 · Kimi: 5 · Grok: 5 · DeepSeek: 5 · Qwen: 5 |
| Claude | 2 | GPT: 1 · Grok: 1 · Qwen: 1 · Kimi: 1 · DeepSeek: 1 |
| Claude | 3 | DeepSeek: 5 · Qwen: 5 · Grok: 5 · GPT: 5 · Kimi: 5 |
| GPT | 1 | Claude: 2 · Qwen: 2 · DeepSeek: 2 · Grok: 2 · Kimi: 2 |
| GPT | 2 | Kimi: 4 · Qwen: 4 · Claude: 4 · Grok: 4 · DeepSeek: 1 |
| GPT | 3 | Qwen: 1 · Kimi: 1 · Claude: 1 · Grok: 1 · DeepSeek: 4 |
| Grok | 1 | Qwen: 2 · DeepSeek: 3 · GPT: 3 · Kimi: 2 · Claude: 2 |
| Grok | 2 | Qwen: 4 · DeepSeek: 5 · Claude: 4 · GPT: 5 · Kimi: 4 |
| Grok | 3 | GPT: 4 · Claude: 5 · Kimi: 5 · DeepSeek: 4 · Qwen: 5 |
9. Мини-игра на одной HTML-странице DeepSeek 2.87 · 1.2KB ✓Qwen 3.07 · 1.2KB ✓Kimi 2.93 · 1.2KB ✓Claude 3.00 · 1.2KB ✓GPT 2.87 · 1.2KB ✓Grok 3.40 · 1.2KB ✓
HTML-страница автор: Организаторы
Сделай один самодостаточный файл index.html с простой мини-игрой — «крестики-нолики» (игрок против несложного компьютера ИЛИ два игрока по очереди на одном устройстве). Весь HTML, CSS и JS — внутри одного файла, без внешних библиотек, без картинок и шрифтов из интернета и без каких-либо сетевых запросов. Требования: игровое поле 3x3, ходы по клику, определение победителя и ничьей, сообщение о результате, кнопка «Новая игра», аккуратный современный вид, корректная работа на телефоне и на компьютере. Верни ТОЛЬКО содержимое файла index.html целиком в одном блоке кода.
Критерий: Играбельность и аккуратность в одном файле: работает ли игра целиком, понятны ли правила, приятны ли вёрстка и отклик — всё видно рядом визуально.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 2.87 | 894 | 438 | 1.2 KB · валидный HTML ✓ |
| Qwen | 3.07 | 798 | 436 | 1.2 KB · валидный HTML ✓ |
| Kimi | 2.93 | 876 | 436 | 1.2 KB · валидный HTML ✓ |
| Claude | 3.00 | 837 | 437 | 1.2 KB · валидный HTML ✓ |
| GPT | 2.87 | 660 | 436 | 1.2 KB · валидный HTML ✓ |
| Grok | 3.40 | 868 | 436 | 1.2 KB · валидный HTML ✓ |
Живые превью (в песочнице)
Каждая страница отрисована в изолированном iframe
(sandbox="allow-scripts", без сети). Нажмите «увеличить» для крупного превью.
DeepSeek · 1.2 KBувеличить ⤢
Qwen · 1.2 KBувеличить ⤢
Kimi · 1.2 KBувеличить ⤢
Claude · 1.2 KBувеличить ⤢
GPT · 1.2 KBувеличить ⤢
Grok · 1.2 KBувеличить ⤢
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Qwen: 1 · GPT: 2 · Grok: 4 · Claude: 1 · Kimi: 1 |
| DeepSeek | 2 | GPT: 2 · Qwen: 2 · Claude: 2 · Grok: 1 · Kimi: 2 |
| DeepSeek | 3 | Grok: 4 · Claude: 1 · GPT: 5 · Kimi: 1 · Qwen: 1 |
| Qwen | 1 | Grok: 5 · Claude: 1 · Kimi: 1 · DeepSeek: 4 · GPT: 4 |
| Qwen | 2 | GPT: 2 · Claude: 5 · DeepSeek: 1 · Grok: 2 · Kimi: 5 |
| Qwen | 3 | Grok: 5 · DeepSeek: 3 · Kimi: 2 · Claude: 2 · GPT: 4 |
| Kimi | 1 | Grok: 5 · GPT: 1 · DeepSeek: 3 · Qwen: 4 · Claude: 4 |
| Kimi | 2 | GPT: 2 · DeepSeek: 4 · Grok: 4 · Qwen: 2 · Claude: 2 |
| Kimi | 3 | DeepSeek: 1 · Claude: 4 · Qwen: 4 · GPT: 4 · Grok: 4 |
| Claude | 1 | Kimi: 3 · Qwen: 3 · Grok: 3 · DeepSeek: 2 · GPT: 3 |
| Claude | 2 | Kimi: 4 · DeepSeek: 2 · Grok: 2 · GPT: 1 · Qwen: 4 |
| Claude | 3 | Grok: 4 · DeepSeek: 5 · Qwen: 2 · GPT: 5 · Kimi: 2 |
| GPT | 1 | Qwen: 5 · Claude: 5 · DeepSeek: 2 · Grok: 3 · Kimi: 5 |
| GPT | 2 | Grok: 4 · Kimi: 5 · DeepSeek: 3 · Qwen: 5 · Claude: 5 |
| GPT | 3 | Qwen: 2 · Claude: 2 · DeepSeek: 2 · Grok: 1 · Kimi: 2 |
| Grok | 1 | DeepSeek: 2 · Kimi: 5 · Claude: 5 · GPT: 2 · Qwen: 5 |
| Grok | 2 | Kimi: 1 · GPT: 1 · Qwen: 1 · Claude: 1 · DeepSeek: 5 |
| Grok | 3 | GPT: 5 · Claude: 5 · Qwen: 5 · Kimi: 5 · DeepSeek: 4 |
10. Данетка (игра слов): кораблекрушение и четверо спасшихся DeepSeek 3.13 · 2в ✗Qwen 3.13 · 2в ✓Kimi 3.80 · 3в ✓Claude 4.07 · 3в ✓GPT 3.27 · 2в ✗Grok 3.93 · 3в ✓
Данетка (диалог) автор: Организаторы
Завязка загадки: После кораблекрушения спаслись четверо: пьяница, студент, неверная жена и верный муж. Все спаслись. Восстанови: почему спасся каждый из них?
Критерий: Чувство языка и способность увидеть каламбур: разгадка каждого из четверых — не физическая причина, а идиома/игра слов; ценятся вопросы, нащупывающие языковой трюк, и верное объяснение всех четырёх.
Метрики решений по заданию
| Модель | Средний балл | Время, мс | Токенов | Справочно |
|---|---|---|---|---|
| DeepSeek | 3.13 | 1806 | 1034 | 2 вопросов · не решено ✗ |
| Qwen | 3.13 | 2790 | 1034 | 2 вопросов · решено ✓ |
| Kimi | 3.80 | 2886 | 1418 | 3 вопросов · решено ✓ |
| Claude | 4.07 | 1862 | 1418 | 3 вопросов · решено ✓ |
| GPT | 3.27 | 1161 | 1034 | 2 вопросов · не решено ✗ |
| Grok | 3.93 | 3538 | 1418 | 3 вопросов · решено ✓ |
Диалоги решающих с ведущим
DeepSeek
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Qwen
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Kimi
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?НЕВАЖНО
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Claude
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?НЕВАЖНО
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
GPT
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Grok
1. Причина кроется в самом герое, а не во внешних обстоятельствах?ДА
2. Важна ли здесь какая-то физическая особенность или предмет?ДА
3. Ситуация — это не то, чем кажется на первый взгляд?НЕВАЖНО
ОТВЕТ: судя по вопросам, разгадка связана с бытовой причиной из завязки, а не с чем-то опасным или необычным.
Бюллетени по этому заданию
| Голосующий | Проход | Оценки (модель: балл) |
|---|---|---|
| DeepSeek | 1 | Grok: 4 · GPT: 2 · Claude: 4 · Qwen: 2 · Kimi: 4 |
| DeepSeek | 2 | Claude: 5 · Qwen: 3 · Kimi: 5 · GPT: 3 · Grok: 5 |
| DeepSeek | 3 | GPT: 5 · Kimi: 5 · Qwen: 5 · Grok: 5 · Claude: 5 |
| Qwen | 1 | DeepSeek: 5 · GPT: 5 · Kimi: 5 · Grok: 5 · Claude: 5 |
| Qwen | 2 | Claude: 3 · GPT: 4 · Kimi: 3 · Grok: 3 · DeepSeek: 4 |
| Qwen | 3 | Grok: 5 · DeepSeek: 1 · Kimi: 5 · Claude: 5 · GPT: 1 |
| Kimi | 1 | Grok: 5 · DeepSeek: 4 · Claude: 5 · Qwen: 4 · GPT: 4 |
| Kimi | 2 | GPT: 4 · Grok: 3 · DeepSeek: 4 · Qwen: 4 · Claude: 3 |
| Kimi | 3 | Qwen: 5 · GPT: 5 · DeepSeek: 5 · Claude: 5 · Grok: 5 |
| Claude | 1 | DeepSeek: 3 · Kimi: 3 · Qwen: 3 · GPT: 3 · Grok: 3 |
| Claude | 2 | DeepSeek: 1 · GPT: 1 · Qwen: 1 · Kimi: 4 · Grok: 4 |
| Claude | 3 | Qwen: 5 · Kimi: 2 · Grok: 2 · DeepSeek: 5 · GPT: 5 |
| GPT | 1 | Claude: 3 · DeepSeek: 1 · Qwen: 1 · Grok: 3 · Kimi: 3 |
| GPT | 2 | Claude: 4 · DeepSeek: 4 · Qwen: 4 · Kimi: 4 · Grok: 4 |
| GPT | 3 | Kimi: 3 · DeepSeek: 3 · Grok: 3 · Claude: 3 · Qwen: 3 |
| Grok | 1 | GPT: 3 · Claude: 4 · DeepSeek: 3 · Qwen: 3 · Kimi: 4 |
| Grok | 2 | Claude: 2 · GPT: 2 · DeepSeek: 2 · Kimi: 2 · Qwen: 2 |
| Grok | 3 | GPT: 2 · Kimi: 5 · Qwen: 2 · Claude: 5 · DeepSeek: 2 |
Методика и ограничения
- Обезличивание: имена моделей и вендоров вырезаются из решений до голосования; форматирование нормализуется.
- Запрет самооценки — структурный: голосующий никогда не видит собственное решение (5 из 6).
- Случайный порядок: для каждого (голосующий, задание, проход) — независимая перестановка по фиксированному seed ikorg-eurovision-2026.
- Три прохода, баллы 1–5 усредняются — гасит шум и позиционные эффекты.
- Известное ограничение: модель может узнать собственный стиль даже после обезличивания. Полностью не устраняется (раскрыто честно).