Сегодня 18-го февраля Северсталь опубликовала очередные финансовые результаты за 4-й квартал 2021 года из презентации:
Сильные финансовые результаты укрепили наш баланс. Общий долг сократился на 30% г/г до 1 816 млн долл., в то время как соотношение чистого долга к EBITDA уменьшилось до 0,23 с 0,84 по состоянию на конец 4 кв. 2020.
Высокие результаты «Северстали» в 4 кв. 2021 года и высокая финансовая устойчивость компании позволили Совету директоров рекомендовать дивиденды в размере 109,81 рубля на акцию за 4 кв. 2021 года.
И сравним с тем, что было рассчитано мной 6 декабря за 3 месяца до публикации фин. отчета:
Q4`21 Consolidated sales steel— 2800 тыс. тонн погрешность составила 9,6%
Q4`21 Weighted average selling price — $940 погрешность составила 1,4%
Q4`21 Выручка — $2886,5 млн погрешность составила на 11%
Завершу рассказ о книге: Технологии против Человека. Как мы будем жить, любить и думать в следующие 50 лет?
Введение
Многие datascientists, желающие использовать ML на финансовых рынках, прочитали толстые книжки об инвестировании, может даже создавали модели с учетом прочитанного. И наверняка знают как правильно оценить полученные модели с точки зрения ML. Разобраться с этим необходимо, чтобы не было мучительно больно, когда прекрасная модель на бумаге, превращается в генератор убытков при практическом использовании. Однако оценка эффективности модели ML на бирже, довольно специфическая область, тонкости которой раскрываются только когда вы погружаетесь в процесс. Под процессом я понимаю трейдинг с частотой совершения сделок гораздо чаще «пара сделок в месяц, в течении полугода». Существует множество подводных камней, о наличии которых вы даже не подозреваете, пока смотрите на трейдинг извне. Я попробую вольно изложить свои мысли на данную тему, я покажу метрики, условно разбив их на 3 группы и обьясню их смысл, покажу свои любимые и о чем нужно подумать, если вы хотите практически использовать модели, а не повесить их на стеночку в красивой рамочке. Представлю метрики в табличном и графическом виде, показав их взаимосвязь. Сравню показатели моделей в виде «какую модель выбираю я» и «что выбираете вы» и кто тут больше ошибается. Для любителей кодов, приведу реализацию всего подсчитанного, так что можно сразу применить прочитанное для оценки своих моделей. Я не буду тут говорить о борьбе с переобучением или регуляризации или стратегиях кросвалидации — оставлю это на потом. Здесь мы начинаем со списка уже спрогнозированных сделок, с помощью transformer о которой я писал в прошлой статье. Поэтому данный текст будет его логическим продолжением, где я оценю модель с точки зрения ее практического использования.