Метрика всевластия или как следить за здоровьем виртуального ассистента

В рамках доклада будут представлен процесс бизнес-мониторинга качества виртуального ассистента. Важность задачи обусловлена высокой степенью влияния качества на ключевую бизнес-метрику ВА - месячную аудиторию (MAU). Будут рассмотрены требования от бизнеса и их непосредственная реализация с точки зрения аналитики. Будет представлена методология для оценки качества работы каждой из крупных ML-систем ВА, а также представлен механизм объединения этих оценок в единый пайп для получения "метрики всевластия" - e2e качества виртуального ассистента. Метрика всевластия или как следить за здоровьем виртуального ассистента from Vladislav Orlikov