Spatial Python

Spatial Data Catalog - Каталог пространственных данных по подписке от компании CARTO

CARTO - компания на лидирующих мировых позициях в предоставлении пространственных сервисов и данных.

На сайте CARTO есть полезные разделы, один из них с обширным каталогом пространственных данных, которые можно использовать в разнообразных задачах по гео аналитике. Есть публичные данные (доступны после оформления демо-подписки) и платные.

Можно использовать этот каталог в качестве источника вдохновения для данных к вашим проектам. Попытаться найти бесплатные ресурсы и обработать, чтобы добиться похожих результатов.

На мой взгляд, этот подход к распространению данных является жизнеспособным и наиболее правильным с точки зрения монетизации. Не зря же один из флагманов делает упор именно на него.

А как вы считаете?

Настройка Python проекта на Git

В рамках прохождения трека на ODS.ai «MLOps и production в DS исследованиях» выкладываю ссылку на git репозиторий по домашнему заданию. Можно клонировать и использовать в качестве шаблона для своих ML проектов на Python, получился полезный инструмент.

Цель этого домашнего задания подготовить репозиторий для работы в нем:
• настроить необходимые линтеры и форматеры
• описать конфиг pre-commit
• сформировать contributing.md где описано, что и как нужно делать в репозитории для внесения изменений

Для этого нужно выполнить следующие шаги:

1. Опубликовать репозиторий на gitlab (или аналоге, но курс ориентирован на gitlab).
2. Выбрать линтеры и форматеры. Можно выбирать те, которые озвучивались в материалах курса, или какие-то свои, которые вам привычны.
3. Зафиксировать необходимые зависимости для линтеров
4. Настроить pre-commit в репозитории
5. Провести настройки линтеров и форматеров в pyproject.toml, прописать основные параметры инструментов
6. Зафиксировать в contributing.md, как пользоваться линтерами в вашем проекте. Добавить в readme.md методологию ведения вашего репозитория

Сделано:

• Создан git-проект на Github, созданы две ветки (master – для кода в продакте, dev – препрод среда, остальные ветки создают участники команды исследования).

• Создано виртуальное окружение с использованием conda.

• Установлен python пакет pre-commit - фреймворк, использующий git pre-commit hook для запуска хуков (инструментов) перед созданием коммита.

• Установлены пакеты с линтерами и форматерами для настройки оформления python кода (ruff, black, pip-compile).

• Установлено poetry для формирования файла pyproject.toml

Ссылка на репозиторий KarimDataMaster/mlops_2024: Трек MLOps и production в DS в исследованиях 3.0 от ODS.ai (github.com)

Ссылка на трек от ODS.ai https://ods.ai/tracks/mlops3-course-spring-2024

Ссылка на статью, которая сильно помогла при выполнении ДЗ Лучшие open-source инструменты для Python проектов / Хабр (habr.com)

❗️Принял участие вместе с командой в хакатоне IT Purple Hack с 9 по 15 марта.
Уже есть результаты на public (6 место) и private (9 место) лидербордах. Высокая плотность результатов в первой десятке , команды очень близко расположились, отличия в метриках всего лишь на тысячные доли. нами применяли разные подходы: feature engineering, бустинговые модели LightGBM, CatBoost, ансамблирование, стекинг. Понравилась наша командная работа, генерили разные подходы, обменивались идеями. Есть планы заскочить на гео кейс от Data Fusion. (кому интересно пишите здесь в комментарии или в личку, можем объединиться для участия в хакатоне Data Fusion)

Направление:

Искусственный интеллект

Заказчик:

Сбер

Задача:

Прогнозирование оттока зарплатного клиента ФЛ.

Описание задачи:

Клиент получает зарплату на карту банка A. Пока клиент получает зарплату в банке, он считается зарплатным клиентом банка A. В какой-то момент Х он перестает получать зарплату на карту банка A (событие оттока).

Необходимо до возникновения события оттока спрогнозировать его, используя данные поведения клиента: транзакции, продукты, мобильное приложение, терминалы, прочее.

Сертификат ;)

Залетели в топ-5! Еее 💪 команда YaTeam

Хакатон ML TALENT MATCH.

Принимаем участие командой в хакатоне ML Talent Match. Результаты и рабочие материлы выложу в канал позже. В каких хакатонах вы принимали участие, как строили взаимодействие в команде, делитесь опытом задавайте вопросы в комментариях?!