Спроектируй web crawler масштаба «10B страниц за месяц». Как избегать дублей, как уважать robots.txt и crawl-delay, как parallelize, как хранить?