Подтемы
ETL/ELT, CDC, идемпотентность, тестирование
14 вопр.
Apache Kafka — partitions, consumer groups, exactly-once
14 вопр.
Пайплайны — бизнес-flows (Saga, Outbox)
16 вопр.
Пайплайны — CI/CD (GitLab, GitHub Actions)
14 вопр.
Пайплайны — ETL (Airflow, Prefect, dbt)
16 вопр.
Пайплайны — messaging (Kafka, RabbitMQ, Celery)
17 вопр.
Оркестрация долгих задач (Celery / Temporal / Worker model)
13 вопр.
RabbitMQ — exchanges, queues, ack, DLX
13 вопр.
24 вопросов
-
middle theory Расскажи worker model (Celery): producer → broker → workers. Какие подводные камни на проде? Что такое prefetch, late_acks, idempotent tasks?
-
senior theory Чем Temporal принципиально отличается от Celery? Когда нужен? Что такое workflow vs activity, deterministic execution?
-
middle theory Как работает партиционирование в Kafka? Зачем ключ при produce? Что значит "порядок гарантируется только внутри партиции"? Как выбрать число партиций.
-
senior theory "Exactly-once" в Kafka — что это на самом деле? Чем отличается idempotent producer от transactional producer? Когда нужно `enable.idempotence=true`?
-
middle theory Объясни модель RabbitMQ: producer → exchange → binding → queue → consumer. Типы exchanges (direct, topic, fanout, headers) и когда какой использовать.
-
senior theory Что такое manual ack? Чем отличается от auto-ack? Зачем prefetch (qos)? Что произойдёт если consumer упал не ack'нув сообщение?
-
middle theory Спроектируй GitLab CI pipeline для FastAPI-проекта: lint → test → build → scan → deploy. Какие stages, что параллелить, как кешировать зависимости.
-
senior theory Airflow + dbt — стандарт data engineering. Что делает каждый, как они интегрируются. Когда нужен только Airflow без dbt и наоборот.
-
middle theory ETL vs ELT. В чём разница, когда какой использовать? Плюсы и минусы каждого, как изменился ландшафт с появлением облачных DWH.
-
senior theory CDC (Change Data Capture): зачем, какие бывают подходы (log-based, trigger-based, polling)? Как работает Debezium? Какие подводные камни на проде?
-
senior theory Идемпотентность ETL-job: что это, почему критично, как реализовать? Расскажи про UPSERT, watermark, dedup и retry-логику.
-
senior theory Как тестировать data pipelines? Unit, integration, data-quality тесты. Great Expectations, dbt tests, Soda — что и когда?
-
senior theory Saga pattern: чем choreography отличается от orchestration? Когда выбрать какой? Покажи пример из e-commerce.
-
middle theory Расскажите о возможностях GitLab CI/CD для автоматизации тестирования и профилирования проекта с большим кодовым базисом. Как вы бы организовали тесты, профили…
-
senior theory Представьте, что вы работаете над проектом с большим кодовым базисом и многочисленными зависимостями. Как вы бы организовали GitLab CI pipeline для автоматизац…
-
middle theory Расскажите, как вы бы реализовали фичу 'отслеживание прогресса' для микросервиса, который обрабатывает события из RabbitMQ. Кто будет отправлять уведомления о …
-
middle theory Предположим, у нас есть система с десятками микросервисов, которые общаются друг с другом через Kafka. Как вы бы решили проблему масштабирования системы на бол…
-
middle theory Предположим, у нас есть микросервис, который обрабатывает события из RabbitMQ и пишет их в БД. Как вы бы решили проблему тестирования этого сервиса на различны…
-
middle theory Вы реализовали ETL-цепочку с помощью Airflow и dbt. Однако в процессе разработки вы обнаружили, что один из тегов в dbt не работает корректно. Каким образом мо…
-
middle theory Вы реализовали ETL-цепочку с помощью Prefect и ClickHouse. Однако вы столкнулись с проблемой тестирования этой цепочки, поскольку сложно симулировать различные…
-
middle theory Вы реализовали ETL-цепочку с помощью Airflow и BigQuery. Однако вы столкнулись с проблемой debugging этой цепочки, поскольку сложно отслеживать ошибки и исключ…
-
middle theory Разберите trade-offs между Saga и Outbox pattern при реализации бизнес-логики в распределенной системе. Какие факторы следует учитывать при выборе одного из эт…
-
middle theory Предположим, у нас есть распределенная система с множеством микросервисов, использующих Saga pattern для управления бизнес-процессами. Как можно оптимизировать…
-
middle theory Как можно протестировать и профилировать систему, использующую Saga pattern для управления бизнес-процессами?