Где ML действительно работает
- Скоринг и ранжирование клиентов, где есть большое число признаков.
- Прогнозирование спроса и денежных потоков с учётом внешних факторов и сложной сезонности.
- Детекция аномалий в транзакциях, портфелях и операционных процессах.
- Поведенческая аналитика, прогноз оттока и рекомендации на большом потоке событий.
Где чаще лучше классика
Если данных мало, важна интерпретация и цена ошибки очень высока, то классическая регрессия, эконометрика или rule-based подход часто выигрывают по совокупной стоимости владения. Для финансовой команды важно не только качество, но и способность защищать модель перед риск-функцией, внутренним контролем и руководством.
Что ломает ML-проекты
- Некачественные признаки и слабый data pipeline.
- Ложный прирост качества из-за утечки данных (leakage) и некорректного разбиения выборки.
- Отсутствие бизнес-метрики: модель точнее, но решение не лучше.
- Нет передачи в команду, мониторинга и владельца модели после сдачи проекта.
Как делать правильно
Фиксировать метрику до старта
MAPE, RMSE, AUC, precision/recall, uplift — метрика должна быть согласована заранее, иначе проект развалится на уровне ожиданий.
Собирать baseline
Без baseline нельзя доказать, что сложная модель действительно лучше. Иногда линейная модель или простой бустинг дают почти тот же результат, но с гораздо меньшими издержками.
Думать о внедрении заранее
В production нужны не только веса модели, но и pipeline признаков, мониторинг деградации качества, документация и владелец на стороне клиента.
Что должен получить бизнес
На выходе у бизнеса должно быть три вещи: модель с понятной метрикой качества, материалы для принятия решения и план внедрения. Если есть только Jupyter-ноутбук и графики, проект еще не готов к реальной эксплуатации.