Учителям: как читать прогнозы ИИ и проверять их

Глоссарий и план урока на 45 минут; числа на 2026-11-12, из живой страницы.

ГлавнаяПрессаДанныеУчителямEnglish

Глоссарий

Brier
Оценка точности вероятностного прогноза. 0 — идеально, 0,25 — как «всегда 50%», 1 — уверенно мимо. Меньше — лучше. Ориентиры ForecastBench: суперпрогнозисты 0,086, лучшие ИИ-модели 0,103, монетка (всегда 50%) 0,25.
ECE, калибровка
Совпадает ли уверенность с частотой верных ответов: если ИИ говорит «70%» про сто случаев, верно ли около семидесяти. Лучший ECE сегодня 0,022 (nova).
Эффективные голоса
Сколько по-настоящему независимых мнений в группе. ИИ учились на общих данных, поэтому из 14 моделей получается около 2,0.
«Совет» и «толпа»
Совет — общее решение ИИ (сторона большинства). Толпа — цена близкого вопроса на Polymarket или Kalshi, где люди ставят реальные деньги.
Запечатано до открытия
Прогноз записан и получил хеш и внешнюю метку времени до открытия биржи, поэтому задним числом его не изменить.
Виртуальные деньги
Счёт на воображаемые $100 000: реальных денег нет. С 19 октября: наличные $100 258 · портфель 60/40 из акций и облигаций $99 594 · S&P 500 (куплен и удержан) $98 885 · Совет $97 069.

План урока на 45 минут

  1. 0–5 мин. Гипотеза
    Класс записывает гипотезу: «ИИ угадывают рынок лучше монетки?» и что считать «лучше».
  2. 5–15 мин. Спор дня
    Откройте живую страницу и найдите «Спор дня»: сегодня это «индекс страха (VIX)». Кто из ИИ за рост, кто за падение?
  3. 15–25 мин. Свой прогноз
    Каждый ученик до просмотра ответов ИИ выбирает ▲ рост или ▼ падение и уверенность 55–95% (так устроен блок «Ваш прогноз раньше ИИ» на странице) и записывает на бумаге с временем.
  4. 25–35 мин. Считаем Brier
    Для одного прогноза: (вероятность − исход)². Исход 1 — рост, 0 — падение. Сравните с монеткой 0,25 и с таблицей на странице. Выборка страницы: 91 вопросов.
  5. 35–45 мин. Обсуждение
    Вечером, после закрытия (16:00 ET), сверьте записи с итогом дня. Что значит «ИИ угадал»? Хватает ли одного дня? Зачем печать до открытия и сколько независимых голосов у 14 моделей?

Задания: (1) посчитать свой Brier за неделю по записям; (2) найти в таблице страницы ИИ с лучшей калибровкой и объяснить своими словами; (3) придумать, как отличить навык от удачи на 91 вопросе. Задания учебные, без денег и без обещаний дохода.