Режимы тестирования
Для проверки своих идей вам предоставляется три режима тестирования:
Через месяц после окончания основного этапа соревнования будет проведено финальное тестирование. Далее мы расскажем подробнее о каждом режиме.
Тренировочный режим
Тренировочный режим предназначен для процесса создания стратегий, анализа различных ситуаций, подбора параметров стратегии и т.д. Изначально в нем будет 40 дней сентября, октября и ноября 2016 года, в течение соревнования этот набор может дополняться.
В тренировочном режиме вам доступна полная информация о том, как вела себя стратегия во время торгов. Подробнее о том, как анализировать поведение стратегии, и какая информация вам доступна, см. в разделе Анализ результатов. Данный режим позволяет вам оптимизировать стратегию, подбирая значения параметров. Подробнее смотрите в разделе Перебор параметров. Также вы можете выбрать, на каких днях запускать стратегию. Например, если вы захотите разобраться с проблемным днём, то запустите стратегию только на нём, чтобы сэкономить время и быстрее получить результаты симуляции.
Посылки, сделанные в тренировочном режиме, видны только вам. Количество тренировочных симуляций в день ограничено. Подробную информацию об ограничениях смотрите на вашей странице посылок.
Контрольный режим
В контрольном режиме ваша стратегия будет запущена на наборе из 20 дней, которых нет среди тренировочных, и которые не будут меняться в течение всего контеста. Этот режим преследует две цели:
- По контрольным посылкам считается текущий рейтинг участников соревнования. В рейтинг попадают только стратегии с положительным результатом. Ваш результат (но не код стратегии) становится виден всем участникам.
- Контрольный режим служит тестовой выборкой, на которой вы можете узнать, насколько хорошо ваша стратегия обобщается на новые данные, не включённые в тренировочный набор, и избежать проблемы переобучения.
Контрольный режим имеет ряд ограничений:
- Количество контрольных посылок ограничено двумя в день.
- У вас нет возможности перебирать значения параметров, и нужно указать конкретные желаемые значения для всех параметров вашей стратегии.
- Вам доступна минимальная информация о поведении вашей стратегии на контрольных днях.
Еженедельный режим
В начале каждой календарной недели будет проводиться еженедельное тестирование одной вашей посылки на новых данных. При этом вы можете сами выбрать, какая это будет посылка, пометив ее галочкой (иконка ✔) в таблице своих посылок. Иначе система автоматически выберет лучшую из ваших стратегий по результатам на контрольной выборке.
Замечание 1: Если вы не выбрали посылок и не отправляли стратегии на контрольную выборку, то ни одна из ваших стратегий не примет участия в еженедельном тестировании.
Замечание 2: Если вы пометили галочкой посылку, выполнявшую перебор параметров на тренировочной выборке, то для еженедельного тестирования будет выбран набор параметров, соответствующий лучшему результату в рамках этой посылки.
Таким образом в системе одновременно будут поддерживаться два рейтинга: по результатам на контрольном тестировании и по результатам на последнем еженедельном тестировании. Просим обратить внимание на то, что они не влияют на определение победителей, а служат лишь для контроля за переобучением и оценки своих результатов на новых днях.
Финальное тестирование
После окончания основного этапа соревнования, арена посылок стратегий будет заморожена, и начнётся фаза финального тестирования, которая продлится 4 недели. Каждую неделю в течение финального тестирования мы будем выкладывать результаты ваших стратегий на пяти новых торговых днях.
Финальным результатом будет результат на наборе из 20 торговых дней, прошедших после заморозки арены.