Режимы тестирования

Для проверки своих идей вам предоставляется три режима тестирования:

Через месяц после окончания основного этапа соревнования будет проведено финальное тестирование. Далее мы расскажем подробнее о каждом режиме.

Тренировочный режим

Тренировочный режим предназначен для процесса создания стратегий, анализа различных ситуаций, подбора параметров стратегии и т.д. Изначально в нем будет 40 дней сентября, октября и ноября 2016 года, в течение соревнования этот набор может дополняться.

В тренировочном режиме вам доступна полная информация о том, как вела себя стратегия во время торгов. Подробнее о том, как анализировать поведение стратегии, и какая информация вам доступна, см. в разделе Анализ результатов. Данный режим позволяет вам оптимизировать стратегию, подбирая значения параметров. Подробнее смотрите в разделе Перебор параметров. Также вы можете выбрать, на каких днях запускать стратегию. Например, если вы захотите разобраться с проблемным днём, то запустите стратегию только на нём, чтобы сэкономить время и быстрее получить результаты симуляции.

Посылки, сделанные в тренировочном режиме, видны только вам. Количество тренировочных симуляций в день ограничено. Подробную информацию об ограничениях смотрите на вашей странице посылок.

Контрольный режим

В контрольном режиме ваша стратегия будет запущена на наборе из 20 дней, которых нет среди тренировочных, и которые не будут меняться в течение всего контеста. Этот режим преследует две цели:

  • По контрольным посылкам считается текущий рейтинг участников соревнования. В рейтинг попадают только стратегии с положительным результатом. Ваш результат (но не код стратегии) становится виден всем участникам.
  • Контрольный режим служит тестовой выборкой, на которой вы можете узнать, насколько хорошо ваша стратегия обобщается на новые данные, не включённые в тренировочный набор, и избежать проблемы переобучения.

Контрольный режим имеет ряд ограничений:

  • Количество контрольных посылок ограничено двумя в день.
  • У вас нет возможности перебирать значения параметров, и нужно указать конкретные желаемые значения для всех параметров вашей стратегии.
  • Вам доступна минимальная информация о поведении вашей стратегии на контрольных днях.

Еженедельный режим

В начале каждой календарной недели будет проводиться еженедельное тестирование одной вашей посылки на новых данных. При этом вы можете сами выбрать, какая это будет посылка, пометив ее галочкой (иконка ✔) в таблице своих посылок. Иначе система автоматически выберет лучшую из ваших стратегий по результатам на контрольной выборке.

Замечание 1: Если вы не выбрали посылок и не отправляли стратегии на контрольную выборку, то ни одна из ваших стратегий не примет участия в еженедельном тестировании.

Замечание 2: Если вы пометили галочкой посылку, выполнявшую перебор параметров на тренировочной выборке, то для еженедельного тестирования будет выбран набор параметров, соответствующий лучшему результату в рамках этой посылки.

Таким образом в системе одновременно будут поддерживаться два рейтинга: по результатам на контрольном тестировании и по результатам на последнем еженедельном тестировании. Просим обратить внимание на то, что они не влияют на определение победителей, а служат лишь для контроля за переобучением и оценки своих результатов на новых днях.

Финальное тестирование

После окончания основного этапа соревнования, арена посылок стратегий будет заморожена, и начнётся фаза финального тестирования, которая продлится 4 недели. Каждую неделю в течение финального тестирования мы будем выкладывать результаты ваших стратегий на пяти новых торговых днях.

Финальным результатом будет результат на наборе из 20 торговых дней, прошедших после заморозки арены.

results matching ""

    No results matching ""