14 вопросов
-
middle theory Какие потенциальные failure modes могут возникнуть при оценке модели на данных с несбалансированными классами, и как их можно компенсировать без изменения метр…
-
middle theory Какие trade-offs возникают при выборе между использованием синтетических данных и реальных данных для оценки модели в production-сценариях, и как это влияет на…
-
middle mcq Какой из следующих сценариев наиболее вероятно приведёт к необоснованному доверии к модели при её оценке в production-среде, если используется только один метр…
-
senior theory Расскажи про RAGAS-метрики: faithfulness, context_precision, context_recall, answer_relevancy. Как считаются, какие пороги в проде, что значит "не сошлось". Гд…
-
middle quiz Какой из следующих подходов к оценке модели наиболее эффективно помогает избежать **data leakage** при использовании валидационных данных?
-
middle quiz Какой из следующих факторов может привести к **overestimation** метрик оценки модели при использовании **cross-validation**?
-
middle quiz Какой из следующих подходов к оценке модели наиболее эффективно помогает выявить **concept drift**?
-
middle quiz Какой из следующих методов оценки наиболее подходит для оценки **robustness** модели к **adversarial examples**?
-
middle quiz Какой из следующих подходов к оценке модели наиболее эффективно помогает избежать **bias in evaluation**?
-
middle quiz Какой из следующих факторов может привести к **underestimation** метрик оценки модели?
-
middle quiz Какой из следующих подходов к оценке модели наиболее эффективно помогает избежать **overfitting** на валидационной выборке?
-
middle quiz Какой из следующих факторов может привести к **inconsistent evaluation**?
-
middle quiz Какой из следующих подходов к оценке модели наиболее эффективно помогает избежать **data leakage** при оценке на новых данных?
-
middle quiz Какой из следующих факторов может привести к **bias in model selection**?