Как проводить A/B-тесты, если ожидаемый результат не статзначим: увеличиваем чувствительность метрик с помощью математики
Если вы проводите эксперименты, то скорее всего, сталкиваетесь с ситуацией, когда полученные вами эффекты нельзя доказать статистически. Нет значимости — и всё.
Например, разница между группой A и B составляет 5% — значимость на таком эффекте мы доказать не можем, держать эксперимент до бесконечности — тоже.
Поговорим, как жить в таких реалиях, какие статистические инструменты могут быть полезны для оценки экспериментов и как увеличивать их чувствительность.
Виталий Черемисинов
Co-founder, EXPF
В EXPF осуществляю консалтинг по экспериментам и анализу данных для таких компаний, как МВидео, Ситимобил, Cбермаркет, HSE, Детский мир и др.
Мы собрали крупнейшее сообщество менеджеров продуктов и всех, кто занимается созданием полезных и прибыльных продуктов, чтобы вы могли учиться вместе с лучшими и делиться опытом.