Study price
Андрей Вильмов
Data Engineer — ПерилаГлавСнаб
Более 8 лет работаю в IT. Разрабатываю архитектуру баз данных, в рамках таких задач плотно работаю с MSSQL, PostgreSQL, Greenplum и MySQL, а также с NoSQL базами данных. Помимо работы с БД разрабатываю предиктивные модели (прогнозирование спроса, LTV) и модели классификации данных. Работаю с моделями BERT. Также активно разрабатываю микросервисную архитектуру и КХД.
🤝 Can help with
- Обучение работе с SQL на всех уровнях — от основ до продвинутых технологий.
- Принципы проектирования архитектуры баз данных и хранилищ данных (DWH).
- Рекомендации по разработке высоконагруженных систем и сервисов, способных справляться с серьезными нагрузками.
- Обучение языку Python.
- Консультации по построению и внедрению микросервисной архитектуры.
- Обучение и практика с различными NoSQL системами.
- Обучение по работе с сервисами очередей такими как Kafka.
- Консультации по системам хранения и обработки данных в том числе S3.
- Помощь в создании эффективных решений по интеграции с различными сервисами.
- Обучение и рекомендации по созданию и реализации ETL-процессов.
- Обучение Apache Airflow
- Обучение созданию моделей машинного обучения.
- Консультации по аналитике данных.
- Помощь в вопросах складской и речевой аналитики.
- Рекомендации по оптимизации существующих бизнес процессов.
- Консультации по работе с LLM моделями
💻 Work experience
February 2017 — until now
ПерилаГлавСнаб — Data Engineer
🤟 Projects
На этом проекте реализовывал миграцию CRM с монолита на микросервисы. В рамках проекта был развернут кластер Kafka, натроекна репликация транзакциями в MSSQL сервер. Включено CDC и подключена Kafka к MSSQL. Так же были перенесены все триггеры с SQL на Python в сервисы.
В рамках проекта был установлен Airflow, который по по REST забирал данные из внутренних и внешних сервисов и складывал все в Minio. В рамках проекта было разработано большое количество задач в Airflow (DAG'ов) и несколько кастомных операторов для Airflow
В рамках проекта был установлен и настроен Greenplum для сбора данных под аналитику и ML. Здесь установили Airflow и Spark который забирал даннеы из Minio, преобразовывал их и сохранял в Greenplum
Переезд с Google Data Studio на PowerBI
В рамках проекта были перенесены все дашборды с GDS на PowerBI. По мере реализации проекта были разработаны Data Mart для хранения аналитических данных и настроены ETL процессы для сохранения данных в DM
В рамках проекта были разработаны сервисы для транскрипции звонков через Whisper а так же диаризация звонков. После чего была обучена BERT модель для классификации типа звонка
📰 Publications
- От CRM к DataLake с K8s и микросервисами
- Очень странные дела: Anomaly Detection в мониторинге. Лайт-выпуск Школы мониторинга
- Школа мониторинга Лайт: Контрольные карты Шухарта или когда карты нужны не только капитанам
- Аналитика начинается не с аналитиков
- Про то, как мы распиливали монолит на MSA
- Прогнозирование продаж Python. Как находить и сглаживать выбросы с помощью фильтра Хэмплея
- Реализация Триггеров TSQL на Python
- IT Infrastructure Day 2024
- От небольшого озера до океана данных с ML и LLM
- 📎Кем стать: программистом или разработчиком? ✨
- VK: 📎Кем стать: программистом или разработчиком? ✨
- RuTube: 📎Кем стать: программистом или разработчиком? ✨
- Как мы укротили 156 ETL-процессов в Airflow за один день: метод, который изменил работу DevOps