Привет! Мы - аккредитованная IT-компания MarfaTech, разрабатывающая собственные высокотехнологичные продукты для b2b клиентов глобальных рынков.
У нас большая экспертиза в используемых технологиях и мало legacy. Мы любим свой код и поддерживаем его в актуальном состоянии. На проектах используем самые актуальные и современные технологии.
Наши ценности:
Мастерство - Мы профессионалы своего дела и всегда увеличиваем свое мастерство!
Осознанность - Мы точно знаем, что мы делаем и зачем!
Сотрудничество - Мы помогаем друг другу быть лучше в том, что мы делаем!
И мы ищем в команду Data Engineer AI focused.
Используемый стек технологий:
Data Ingestion & Streaming: Debezium, Kafka, FastAPI.
Data Lake & Warehouse: AWS S3, Snowflake.
Data Orchestration & Transformation: Airflow, DBT.
AI Agent & Automation: n8n, Dify.
Что нужно делать:
- Проектирование, создание и поддержка конвейеров данных (с использованием Airflow, Python, DBT и Snowflake), которые будут снабжать нашего ИИ-агента критически важными метаданными из всего нашего стека данных;
- Разработка модели данных в Snowflake, которая будет содержать структурированные метаданные, необходимые для базы знаний агента, с применением передовых методов многомерного моделирования и настройки производительности;
- Разработка, тестирование и поддержка надежных и масштабируемых преобразований данных с использованием DBT для обеспечения доступа агента к чистой, надежной и актуальной информации о наших информационных ресурсах;
- Руководство архитектурой и разработкой сложного ИИ-агента на платформах n8n и Dify;
- Реализация и оптимизация конвейера извлечения-дополненной генерации (RAG), включая извлечение данных, их фрагментацию, встраивание и хранение в векторной базе данных для обеспечения возможностей извлечения знаний агента;
- Обеспечивать управление данными и качество данных, внедряя автоматизированные проверки и отслеживаемость, чтобы гарантировать достоверность, точность и проверяемость ответов агента;
- Создавать и поддерживать понятную техническую документацию по конвейерам данных и архитектуре агента, чтобы гарантировать удобство обслуживания и понятность системы.
Наши ожидания от кандидата:
-
Более 2 лет практического опыта работы в должности Data Engineer, включая успешный опыт создания и поддержки конвейеров данных промышленного уровня в облачной среде;
-
Свободное владение SQL и Python для обработки данных, построения конвейеров и автоматизации;
-
Опыт построения рабочих процессов на платформах автоматизации, таких как n8n, Dify, Make или Zapier;
-
Прагматичный, ориентированное на продукт мышление со страстью к созданию инструментов, решающих реальные инженерные проблемы и повышающих производительность труда разработчиков.
-
Опыт работы с нашими источниками данных и сопутствующим стеком (например, FastAPI, Debezium, Kafka, AWS S3);
-
MLops, практический опыт интеграции с API LLM (например, OpenAI, Anthropic, Google Gemini) или локального развертывания моделей;
-
Глубокий практический опыт работы с нашим основным стеком данных или аналогичными технологиями: Snowflake для хранилищ данных, DBT для преобразований и Airflow для оркестровки;
-
Глубокое прикладное понимание концепций хранилищ данных, многомерного моделирования, управления данными и современных архитектур данных.
Будет плюсом:
-
Практический опыт работы с компонентами системы RAG, такими как создание векторных вложений и использование векторных баз данных (например, Pinecone, Weaviate, ChromaDB).
Мы предлагаем:
-
Удаленный формат работы или современный комфортный офис рядом со ст.м. Динамо;
-
Трудоустройство в аккредитованной белой IT-компании (предоставление всех IT-льгот);
-
Достойный уровень заработной платы;
-
Демократичную среду с возможностью предлагать и реализовывать свои идеи по улучшению сервиса и функциональности;
-
Работу над сложными сервисами со множеством инженерных вызовов;
-
Возможность карьерного роста;
-
Возможность профессионального развития (обучение, конференции, литература, сильная команда высокого класса с большим опытом);
-
Открытая и свободная friendly среда - у нас ты сможешь сам задавать тренды, а не следовать им;
-
Кухня с завтраками, разнообразием фруктов, снеков и газировки;
-
Разнообразные корпоративные и спортивные мероприятия;
-
50 % корпоративная скидка на изучение английского языка.