Перевес не найден

Цель задания — примерно +4–5% в месяц при просадке не глубже 20% — не достигнута. И дело не в том, что я плохо искал: дело в том, что на имеющихся данных такую цель невозможно ни подтвердить, ни опровергнуть.

Лучшее, что удалось построить, — ансамбль из четырёх слабо связанных правил. На обучении и проверке он давал +3.28% в месяц при просадке 18.2%. На выборке, которую я держал закрытой до последнего момента, он показал −17.6% за 169 дней и просадку 36.2% — то есть нарушил и обещание доходности, и обещание риска.

За тот же период простое владение биткоином дало −7.7%. Ансамбль оказался вдвое хуже, чем ничего не делать.

Отсюда единственно честная формулировка. Не «перевеса нет», а «на трёх годах и пяти монетах перевес искомого размера невозможно ни подтвердить, ни опровергнуть». Провал на экзамене при такой величине — рядовое событие, а не доказательство.

Разница между обучением и экзаменом — +3.28% против −3.36% в месяц — тоже не значима: p = 0.32 по критерию Стьюдента и 0.185 по перестановочному тесту на 20 000 перемешиваний. Экзамен не опроверг обучение. Он не смог сказать ничего.

Это подтверждено независимо: агент, которому была поставлена задача меня опровергнуть, повторил счёт на дневном горизонте по девяти каноническим правилам и получил ту же картину — связь −0.04, статистически столь же пустую.

Прежний движок бэктеста (evolution2.run5) я не трогал — он обслуживает работающих ботов, и переписывать его под исследование значило бы менять то, что сейчас живёт. Но пользоваться им как измерительным прибором нельзя, и вот почему.

• Просадка мерилась по закрытым сделкам, а не по переоценке на каждом баре. Это занижает риск ровно у той стратегии, которая пересиживает минус, — то есть у самой опасной.
• Конфигурации отбирались на всей доступной истории. У нынешних ботов не существует ни одного дня по-настоящему чистой проверки — включая те 169 дней, которые для нового исследования были закрыты.
• Заглядывание в будущее нигде не проверялось механически — только обзором кода. Ниже показано, почему обзор кода этого не ловит.

Как боевые боты выглядят, если разложить их по тем же окнам:

Столбец «экзамен» взят в кавычки намеренно: для этих ботов он не экзамен, а часть того же материала, на котором их настраивали. Сравнивать его с экзаменом нового исследования нельзя — это сравнение работы с ответами и работы без.

Раз старому мерилу верить нельзя, исследование начинается не со стратегий, а с того, чем их мерить.

Данные

Имевшиеся файлы истории хранили только цены открытия, максимума, минимума и закрытия — объёма в них не было вовсе, из-за чего целые разделы задания (подтверждение объёмом, OBV, VWAP, относительный объём) были непроверяемы в принципе. Докачал свечи с объёмом и оборотом по пяти монетам на трёх таймфреймах.

Инструменты

BTC, ETH, SOL, LTC, DOGE — бессрочные контракты Bybit

Горизонт

2023-06-21 … 2026-08-13, 1150 дней

Обучение

736 дней (бычий рынок: SOL +722%, BTC +258%)

Проверка

244 дня (медвежий: всё от −30% до −40%)

Экзамен

169 дней — закрыт до единственного прогона

Разделение выборки само по себе оказалось важным обстоятельством: обучение пришлось целиком на рост, а проверка и экзамен — на падение. Любая стратегия, отобранная на обучении, отобрана в бычьем рынке и обязана пережить медвежий.

Четыре правила движка

1. Сигнал бара исполняется на открытии следующего. Это свойство самого движка, а не дисциплины стратегии: сдвиг делается внутри. Войти по цене, из которой получен сигнал, физически нельзя.
2. Внутри бара выигрывает худшее. Если задеты и стоп, и тейк — засчитан стоп. Порядок движения цены внутри бара неизвестен, и любое другое правило означает выбор выгодного исхода задним числом.
3. Разрыв через стоп исполняется по открытию, а не по цене стопа: этой цены в тот момент на рынке не было.
4. Просадка считается плавающая — по переоценке капитала на каждом баре удержания.

Издержки настоящие: тейкер 0.055% на каждую ногу, проскальзывание от 0.025% у BTC до 0.06% у DOGE, фандинг по фактической истории ставок, ликвидация по поддерживающей марже биржи. Размер позиции считается от доли риска и расстояния до стопа; плечо — потолок, а не рычаг доходности.

Проверки на задачах с известным ответом

Тридцать пять проверок, где верный ответ выводится на бумаге и сверяется до копеек. Три из них поймали настоящие ошибки в моём же коде:

• при одновременном касании стопа и цены ликвидации списывалась вся маржа, хотя ближний уровень цена проходит первым;
• разрыв ниже цены ликвидации списывал с капитала весь ход разрыва на плечо — убыток больше, чем вообще было внесено денег;
• просадка считалась по дневной сетке, которая оставляет от дня последнюю точку и стирает внутридневную яму, отчего плавающая просадка выходила меньше закрытой, чего не бывает.

После постройки каталога я запустил агентов с единственной задачей — найти ошибки, а не подтвердить, что всё хорошо. Они нашли три критические, каждая из которых в одиночку меняла ответ. Все три — мои, и все три сидели в основе, которую я уже объявил проверенной.

Из-за неё мой первый вывод звучал так: «работает возврат к средней, следование за трендом систематически убыточно». Он был ложным — трендовые стратегии держат позицию дольше всех и получали стократный штраф. Вывод отменён.

Теперь будущее заменяется собственным случайным блужданием, открытие и закрытие шумятся независимо, а в набор проверок добавлена поверка самого прибора: две заведомо жульнические стратегии, которые он обязан поймать. Ловит обеих.

Ради этих трёх находок стоило гонять агентов друг против друга. Ни одну из них нельзя было увидеть, глядя на красивые графики.

Шестьдесят одна стратегия по всем классам из задания, у каждой сетка параметров, а не одна точка — искали плато устойчивых значений, а не пик. Итого 2656 сочетаний параметров; на пяти монетах и двух таймфреймах это 26 560 проверенных конфигураций.

Доля пар «монета — таймфрейм», вышедших в плюс вне обучения:

Читать эту таблицу надо трезво. Лучшее семейство даёт медиану +0.22% в месяц — при том, что доля в плюсе 63% лишь немного отличается от подбрасывания монеты. Ни одно семейство не показывает заметного перевеса.

Отдельные наблюдения, которые стоят сами по себе

• Облако Ишимоку без сдвига вперёд вредит. С облаком −71.8%, без него −59.4% при прочих равных. Похоже, репутация этого прибора во многом держится на том, что его рисуют на 26 баров вперёд — то есть сравнивают цену с величиной, посчитанной позже.
• Голый наклон одной средней идёт вровень с пересечениями двух. Значит вторая средняя не добавляет информации, и семь трендовых приборов меряют одну и ту же величину. Это не семь независимых попыток, а одна.
• Всё, что даёт больше ~900 сделок за два года, мертво. У быстрого MACD комиссии составили 5126 долларов при стартовом капитале 10 000. Это не приговор гипотезе, а измерение стоимости спешки.

Прежде чем радоваться любому победителю, надо знать, насколько хорош должен быть результат, чтобы не быть везением.

Обратный счёт ещё нагляднее. При 3.15 годах истории допустимое число независимых конфигураций, при котором внутривыборочный результат ещё что-то значит, — около пятнадцати. Я перебрал 26 560. Разрыв в три порядка.

Это не моя находка. Bailey, Borwein, López de Prado и Zhu сформулировали её ещё в 2014 году в «Pseudo-Mathematics and Financial Charlatanism»: имея пять лет данных, нельзя перебирать больше сорока пяти независимых конфигураций, иначе лучший результат гарантированно окажется миражом.

Сколько нужно истории

По формуле Lo (2002) для ошибки оценки коэффициента Шарпа:

Вот это и есть настоящий ответ на вопрос задания. Перевес в 0.2–1% в месяц на трёх годах истории невозможно отличить от нуля в принципе — не из-за плохого метода, а из-за длины выборки. Это утверждение об измерительном приборе, а не о рынке.

Главный источник самообмана в такой работе — не движок и не стратегия, а порядок действий. Можно посчитать всё честно и всё равно получить мираж, если параметры выбраны по тем же данным, на которых потом меряется результат.

• Скользящая проверка вперёд. Окно обучения 360 дней, окно применения 90 дней, шаг 90 дней. Параметры выбираются только по данным строго раньше окна применения.
• Плато вместо пика. Оценка сочетания сглаживается по его соседям в сетке. Одиночный пик посреди провала — почти всегда шум: стоит рынку сместиться, и параметр с него съезжает.
• Портфель, а не лучшая монета. Стратегия торгуется на всех пяти сразу равной долей риска. Выбор монеты — тоже подбор параметра, причём с пятью попытками.
• Риск как способ сравнения. Все кандидаты ужимаются до одной просадки — 20%, потолка из задания, — и только после этого сравниваются по доходности.

Насколько это меняет картину, видно на одном примере. У стратегии ложного пробоя на LTC подбор параметров по всей выборке давал +3615%. Тот же материал, пропущенный через протокол, дал +75%. Разрыв в двадцать один раз — и это лучший из известных мне ответов на вопрос, сколько стоит верить бэктесту без протокола.

Ансамбль из четырёх правил, отобранных по слабой связанности друг с другом: c_willr (положение цены в диапазоне), bos (пробой подтверждённого свинга), vol_spike (всплеск объёма), supertrend (ATR-канал). Четыре часа, все пять монет, доля риска 0.43% на рукав — подобрана так, чтобы просадка на 95-м перцентиле бутстрэпа равнялась ровно 20%.

Спецификация записана в FINAL_SPEC.md и зафиксирована в системе контроля версий до первого чтения экзаменационных данных, чтобы её нельзя было подправить задним числом.

По месяцам на экзамене:

За тот же период — просто держать монету:

Рынок на экзамене падал, и падение объясняет часть убытка. Но не оправдывает его: ансамбль оказался хуже, чем держать биткоин или эфир, при сопоставимой просадке. А обещание по риску — 20% — было нарушено почти вдвое. Монте-Карло по экзаменационным сделкам даёт вероятность уйти глубже 20% равной 55%.

Чтобы понять, подвёл отбор или подвёл сам подход, я посчитал, что делали на экзамене все двадцать кандидатов. Это диагностика, а не второй тур отбора: ни один результат отсюда не даёт права поменять финальную конфигурацию, иначе экзамен превратился бы в очередной подбор.

Две стратегии, лучше всех сдавшие экзамен, на обучении были в середине списка. Для случайности это как раз и характерно.

Сколько объясняет рынок

Ансамбль оказался не нейтрален к рынку: связь его месячной доходности с движением биткоина — +0.69. При падении BTC на 7.7% наклон предсказывает −0.32% в месяц; вышло −3.36%. То есть рынок объясняет примерно 40% провала, но не весь.

И сам результат на обучении не был значим

Это неприятная, но важная подробность. Блочный бутстрэп по 1926 сделкам даёт p = 0.087 и интервал от −1.52% до +10.21% в месяц. Один месяц из двадцати (+31%) принёс 44% всей доходности; без него остаётся +1.67% в месяц. То есть красивая цифра +3.28% держалась на одном удачном месяце — и это было видно до экзамена, если бы я посмотрел.

Где именно ломается

Разбивка по режимам рынка (режим определяется на баре входа и только по прошлому) показала неприятное: у всех четырёх участников ансамбля прибыль сосредоточена в боковике, а трендовые режимы убыточны — при том, что supertrend и bos по замыслу трендовые. Они зарабатывали не тем, чем должны были.

Отрицательный вывод тоже может быть ошибкой измерения, поэтому я запустил отдельных агентов с задачей его сломать — найти перевес, который я упустил.

Дневной и недельный горизонт

Единственное направление, где хоть что-то уцелело. Девять канонических правил (импульс за 30–180 дней, Дончиан 20/55, наклон средней), ни одно число не подобрано по результату, в решение пошло среднее всех девяти. Итог при просадке, ужатой до 20%: +0.65% в месяц. Это втрое лучше моего лучшего семейства — но втрое лучше нуля это ноль: бутстрэп даёт доверительный интервал от −0.60% до +2.06%, перестановочный тест — вероятность около 0.12–0.17.

Что отвергнуто однозначно

• Поперечный импульс (покупать сильнейшую монету, продавать слабейшую): на обучении Шарп 1.52, на проверке −0.05. Знак результата переворачивается между кусками — тот же мираж в другой одежде.
• Нормировка долей по волатильности оказалась хуже равных долей на всех трёх кусках. Пять крупных монет в крипте — это один фактор, распределять между ними нечего.
• Выбор стороны (только лонг или только шорт) — это ставка на режим, а не перевес: на обучении лонг даёт Шарп 1.31, шорт −0.84; на проверке ровно наоборот.

Исполнение вместо сигнала

Отдельная гипотеза: сигналы не безнадёжны, их убивает способ входа и выхода. Проверялись лимитные заявки вместо рыночных, частичная фиксация, безубыток, выход по времени и управление просадкой. Все результаты приведены к одной просадке 20%, иначе они несравнимы.

Лимитные входы опровергнуты начисто. Комиссия мейкера втрое ниже, но заявка исполняется лишь в 25–63% случаев — и не исполняется именно там, где цена ушла без нас, то есть в лучших сделках. Экономия на комиссии этого не окупает. Причём оценка ещё и оптимистична: очередь в стакане не моделировалась.

Управление просадкой сделало хуже. Пороги, подобранные на обучении, на проверке ухудшали результат. А жёсткая остановка торговли при просадке 15% оказалась катастрофой: −62.5% на проверке — система замирала на дне и не участвовала в восстановлении.

Машинное обучение

Проверялась мета-разметка по Лопесу де Прадо: входы готовых правил остаются как есть, модель отвечает только на вопрос «окажется ли этот вход прибыльным». Тридцать признаков, логистическая регрессия и градиентный бустинг, разбиение только по времени с зазором не меньше самого долгого удержания.

Прибавка на один вход

+0.0101% ± 0.0104% — ровно одна ошибка от нуля

Для масштаба

издержки одного круга ≈ 0.77% капитала — в 76 раз больше

Способность различать (AUC)

0.514 вне обучения при 0.5 у монетки

Устойчивость важности признаков

от −0.29 до +0.13 между окнами

Последняя строка говорит всё: в каждом окне наверху оказываются разные признаки — то день недели, то положение в канале, то волатильность биткоина. Модель каждый раз объясняет прошлое заново. Это и есть определение шума.

Отдельная сверка с открытыми источниками — с прямым указанием искать противоречащее, потому что если в науке устойчиво находят перевес там, где мы его не нашли, это повод усомниться в нашей работе.

Подтверждает

• Bailey, Borwein, López de Prado, Zhu (2014) — про множественную проверку и минимально необходимую длину бэктеста. Прямое попадание.
• Harvey, Liu, Zhu (2016), Review of Financial Studies — в мире с множественными проверками порог значимости поднимается до t > 3.0.
• Lo (2002) — арифметика ошибки оценки Шарпа, из которой и следует, что трёх лет не хватает.
• Fieberg и соавторы повторили этот счёт на крипте: 20 736 вариантов исследовательских решений, и разброс результатов от произвольных решений оказался больше статистической ошибки.

Спорит

Главное возражение — работа CTREND (Fieberg и соавторы, JFQA, 2025): заявлено 3.87% в неделю, и авторы утверждают, что эффект переживает издержки. Отмахиваться нельзя. Смягчает одно: конструкция требует порядка трёх тысяч монет, тогда как у нас их пять.

Арифметика издержек, которую стоит держать в голове

Отсюда прямое следствие: чем короче горизонт, тем больший перевес нужен только чтобы выйти в ноль. Это объясняет, почему всё, что торгует часто, в нашем каталоге мертво.

Прямой вывод, без смягчения. Историческая доходность боевых ботов посчитана на данных, на которых их же и настраивали. Исследование показало, что такая доходность не даёт оснований предсказывать будущую — связь между ними не обнаружена ни на моём каталоге, ни на девяти канонических правилах у независимого проверяющего.

Практически это значит вот что:

• Числа BTC-бота (+133%) не следует считать обещанием. Пятьдесят семь сделок за три года — это выборка, на которой ничего нельзя доказать, и почти вся прибыль пришлась на бычий участок.
• Режим DRY_RUN стоит сохранить. Ни одна конфигурация, включая мою собственную лучшую, не прошла честную проверку.
• Витрина не должна обещать доходность. Если на сайте останутся исторические проценты, рядом обязана стоять оговорка, что они получены на данных настройки и не являются прогнозом.
• Старые ключи Bybit в открытом виде в d:\pyhonprojects по-прежнему стоит отозвать — это отдельная от исследования, но более срочная задача.

После отрицательного итога были проверены три направления, где, по совокупности замеров и литературы, шансы выглядели выше нуля. Все три доведены до чисел.

1. Сотни монет вместо пяти

Главная поломка была не в методе, а в количестве наблюдений. Скачаны дневные свечи по всем бессрочным контрактам Bybit; после отбора по ликвидности и длине истории осталось 180 монет — в 36 раз больше прежнего. Правила канонические, ни одно число не подобрано.

Тот же рисунок, что и на пяти монетах: плюс на обучении, ноль или минус на новых данных. Просадки при этом 25–70%. Ширина выборки картину не спасла. Вместимость, кстати, не мешает: счёт в 10 тысяч и в миллион дают почти одинаковый результат — при обороте 6.6 млн долларов в день на монету такие размеры рынок не двигают.

2. Длинная история и правила без подбора

Самая чистая проверка во всей работе. У правил, где ни одно число не выбрано по данным, переобучать нечего — значит закрытый экзамен не нужен, и вся доступная история является законной проверкой. Это 5.5 года и 180 монет.

Блочный бутстрэп по составному правилу даёт интервал от −1.70% до +5.48% в месяц, ниже нуля 18% прогонов. Интервал накрывает ноль даже здесь. И разброс между окнами говорит сам за себя: 30 дней дают +345%, 180 дней — −49%. Единственное окно с приличной вероятностью (30 дней) — это снова «лучшее из пяти».

Правило импульса обыграло оба эталона с большим отрывом и уберегло от обвала альткоинов — а обвал был страшный: равные доли по 180 монетам за 5.5 года потеряли почти 80%, причём это ещё и с учётом смещения выживших, то есть на деле хуже. Но +70.5% за 5.5 года — это около 10% годовых при просадке 47%. Соотношение плохое, потолок риска нарушен вдвое, и от нуля результат по-прежнему неотличим.

Отсюда самый полезный вывод раздела: следование за трендом в крипте ведёт себя как страховка, а не как машина для заработка. Оно срезает хвост — и на экзамене теряло 2.4% там, где рынок терял 9.1%, — но доходности, ради которой затевалась работа, не даёт.

3. Фандинг вместо предсказания

Единственная схема, где понятно, откуда берутся деньги: короткая позиция в бессрочном контракте против длинной в споте. Движение цены гасится, а держатель короткой стороны получает ставку фандинга. Ставка положительна почти всегда, и причина не случайная — желающих играть на повышение с плечом систематически больше, и вы берёте на себя обратную сторону их плеча.

За три года, медиана

+7.4% годовых, минусовых месяцев 8%

Худший месяц

−0.07% (у ансамбля был −20%)

Издержки

0.22% на круг — четыре ноги

Но схема сжимается, и это важнее средней цифры:

Желающих стоять на этой стороне стало больше, плата упала. Сейчас 1.8% годовых — ниже банковского вклада, при риске биржи, риске расхождения цен спота и контракта и риске ликвидации короткой ноги. Направление живое, но в нынешнем виде денег не стоит. Знать о нём полезно другим: в шторм фандинг разъезжается, и включать схему имеет смысл именно тогда, а не держать постоянно.

Отрицательный результат легко превратить в утверждение шире, чем он есть. Границы такие:

• Не доказано, что перевеса нет. Доказано, что на 3.15 годах и пяти монетах его невозможно отличить от нуля — причём даже экзамен на 169 днях различает только перевес крупнее +5.8% в месяц. Это разные утверждения, и второе слабее.
• Провал на экзамене не является доказательством отсутствия перевеса. При перевесе размером с наблюдённый протокол проваливает экзамен в 31% случаев, даже когда перевес настоящий.
• Не проверены горизонты короче часа и данные внутри бара: стакан, поток сделок, ликвидации.
• Не проверены монеты за пределами пяти самых ликвидных — а литература указывает, что предсказуемость живёт именно там.
• Не проверялись схемы, зарабатывающие на фандинге напрямую (рыночно-нейтральный carry) — это отдельный класс, требующий другой механики исполнения.
• Экзамен — всего 169 дней и один рыночный режим. Провал на нём убедителен, но одиночная удача на таком отрезке ничего бы не доказала.

Задание требовало не доказать, что нынешняя стратегия хороша, а попытаться её сломать. Сломались все — и нынешняя, и все шестьдесят одна новая, и мой собственный лучший ансамбль, и машинное обучение поверх них.

Раздел 53 задания предусматривает случай, когда цель в +4–5% не достигается: брать устойчивый результат пониже, а не подгонять систему. Я следовал этому правилу и получил +2.88% в месяц на обучении. Экзамен показал, что и этот результат был миражом.

Поэтому честный итог такой: у меня нет конфигурации, которую я мог бы рекомендовать к реальным деньгам. Есть проверенный измерительный прибор, воспроизводимый протокол, каталог из 61 стратегии и знание о том, сколько данных потребовалось бы, чтобы вопрос вообще стал разрешимым — порядка восьми лет вместо трёх.

Но точность важнее красивой концовки, поэтому последняя поправка — к самому себе. Я хотел закончить фразой «отбор не работает, и это доказано». Проверка показала, что и этого я не доказал: имеющихся данных не хватает даже на такое утверждение. Ответ на вопрос задания звучит не «перевеса нет», а «тремя годами истории по пяти монетам на этот вопрос ответить нельзя».

Это меньше, чем хотелось. Но прибор, который честно говорит «не знаю», стоит дороже прибора, который уверенно говорит неправду — и дороже прибора, который уверенно говорит «нет».