Как проводить A/B-тесты, если ожидаемый результат не статзначим. Увеличиваем чувствительность метрик с помощью математики

Как проводить A/B-тесты, если ожидаемый результат не статзначим: увеличиваем чувствительность метрик с помощью математики

Если вы проводите эксперименты, то скорее всего, сталкиваетесь с ситуацией, когда полученные вами эффекты нельзя доказать статистически. Нет значимости — и всё.

Например, разница между группой A и B составляет 5% — значимость на таком эффекте мы доказать не можем, держать эксперимент до бесконечности — тоже.

Поговорим, как жить в таких реалиях, какие статистические инструменты могут быть полезны для оценки экспериментов и как увеличивать их чувствительность.

Виталий Черемисинов

Co-founder, EXPF

В EXPF осуществляю консалтинг по экспериментам и анализу данных для таких компаний, как МВидео, Ситимобил, Cбермаркет, HSE, Детский мир и др.

КУПИТЬ БИЛЕТ

Станьте частью сообщества профессионалов

Мы собрали крупнейшее сообщество менеджеров продуктов и всех, кто занимается созданием полезных и прибыльных продуктов, чтобы вы могли учиться вместе с лучшими и делиться опытом.

Чат продактов в телеграме

4000 участников

Добавиться в чат

Группа в фейсбуке

более 2700 участников

Присоединиться

Телеграм-канал

более 9500 участников

Присоединиться

Команда организаторов ProductSense

Есть много поводов нам написать. Шлите свои вопросы и предложения по почте или справа через Интерком

Юрий Агеев