Подтемы
ETL/ELT, CDC, идемпотентность, тестирование
14 вопр.
Apache Kafka — partitions, consumer groups, exactly-once
14 вопр.
Пайплайны — бизнес-flows (Saga, Outbox)
16 вопр.
Пайплайны — CI/CD (GitLab, GitHub Actions)
14 вопр.
Пайплайны — ETL (Airflow, Prefect, dbt)
16 вопр.
Пайплайны — messaging (Kafka, RabbitMQ, Celery)
17 вопр.
Оркестрация долгих задач (Celery / Temporal / Worker model)
13 вопр.
RabbitMQ — exchanges, queues, ack, DLX
13 вопр.
7 вопросов
-
senior case Consumer lag в Kafka растёт: producer пишет 50k msg/s, consumer тянет 30k. Что делать? Какие настройки и архитектурные решения помогут.
-
middle case Микросервис принимает события от 10 producer'ов, обрабатывает с retry. Kafka или RabbitMQ? Что предусмотреть в обработчике.
-
senior case У тебя Kafka consumer, который пишет события в БД. Иногда после обработки и до commit'а offset'а worker падает. После рестарта то же сообщение приходит снова —…
-
senior case Ты проектируешь Kafka топик для обработки заказов: 1000 заказов в секунду, нужно гарантировать порядок событий для одного заказа (created → paid → shipped). Ск…
-
senior case В Airflow есть DAG, который ежедневно считает агрегаты по продажам. Прошло пол года, и нужно пересчитать данные за прошлый месяц после того, как нашли баг в ло…
-
senior case Продакшен-таблица в DWH (ClickHouse/BigQuery) получает данные через ETL. В upstream систему добавили новое поле `user_segment`. Как накатить изменение, не урон…
-
senior case Сервис должен в одной транзакции: сохранить заказ в БД и отправить событие OrderCreated в Kafka. Что произойдёт, если БД commit'нулась, а Kafka недоступна (или…