Для хорошего эксперимента нужны не только строгие гипотезы и хорошая методология – нужна еще сильная структура метрик. Мы поговорим про метрики для продукта и эксперимента.

– Типизация метрик и их особенности с точки зрения поведения в АБ тестах
– Что такое чувствительность метрик, как ее считать, и от чего она зависит
– Как искать догоняющие метрики для основной, почему это важно
– Как выбирать релевантный статистический критерий под свои метрики

A/B-тестирование – сложная задача, особенно когда данных недостаточно для достижения статистической значимости за разумное время. Я хотел бы рассказать историю о том, как, выбрав другую наиболее важную метрику, мы сократили доходный трафик в 50 раз и решили эту проблему, используя линеаризацию, повторное взвешивание, прогнозирующее машинное обучение и теорему Байеса.

Современная парадигма продуктового управления построена на догме «тестируй всё». Кажется, на этом пути мы забыли про главную цель многих бизнесов – рост капитализации с максимальной скоростью. Я расскажу, почему я мог не проводить львиную долю тестов и просто катить изменения на чистой вере.

Я расскажу про особенности развития зрелого массового продукта. Про то, как реализовывать смелые идеи и проверять гипотезы, если у продукта уже есть устоявшаяся многомиллионная база. Как защищать продуктовый подход и право на эксперименты в компаниях с другой ментальностью.

А ещё про одну ошибку, которая чуть было не перечеркнула наш важнейший запуск этого года.

– Как определить, нужно ли вообще проводить АБ-тест.
– Как выглядит процесс проведения эксперимента в идеальном мире, к которому надо стремиться, но невозможно прийти из-за вечной нехватки ресурсов дата-аналитика.
– Какие ошибки чаще всего совершают продуктовые команды при проектировании и интерпретации результатов АБ-теста.
– Очень много практики: математическая статистика и python на реальных кейсах.

Разрабатывать фичи и продукты просто потому, что «пользователь просит», могло бы быть хорошей идеей, если бы пользователи всегда платили за то, что они до этого попросили.

Эта же схема работает с планированием продуктовых стратегий — для того, чтобы уменьшить риски принимаемых среднесрочных решений.

На лекции мы познакомим вас с общей концепцией CI & MI для digital-продуктов и покажем конкретные примеры алгоритмов и фреймворков для упрощения и систематизации исследований.

Весной 2020 во время карантина с помощью отдела исследований мы запустили платформу дистанционного обучения для школ, которая благодаря точному попаданию в боль клиентов за 2 месяца вышла в топ-3 платформ и привлекла более 2млн школьников.

Я расскажу о том как:
– оценивать объемы рынков
– анализировать конкурентов
– получать инсайты от клиентов
– всё это использовать для запуска новых продуктов на примере нашей Интерактивной тетради Skysmart

Куда и как выходить – одна из головных болей продактов, которые хотят вывести свой продукт за пределы родного, уже знакомого рынка. Часто мы слышим "хотим на международный рынок", но это как "глобус москвича" – невозможно выйти на все страны разом. У каждой страны свои особенности и то, что на ура зайдет в США, может абсолютно не пойти в Бразилии или Китае.

На кейсах из B2B Enterprise и SaaS поговорим, на что обращать внимание при выборе рынка или группы рынков для экспансии, как и где найти нужную информацию, возможные "грабли", стратегии и идеи заходов. Бонусом будет чеклист и несколько полезных фреймворков.

Facebook, Google, Amazon — мега платформы. Мы все в той или иной степени от них зависим. При построении продукта мы делаем с ними интеграции, закупаем рекламу, черпаем данные. Но, к сожалению, у мега-платформ свои планы, которые далеко не всегда могут совпадать с вашими.

Виталий поделится личной историей, как Growth Hacking на базе Facebook сначала дал его компании ConcertWith.me дикий рост, а потом погубил.

В новой компании Ducalis.io тоже есть много интеграций с большими платформами (Jira, Trello, Asana, Slack).

Обсудим:

• Кейс: growth hack роста и падения.
• Почему это не очевидно. Как распознать угрозу для своего продукта.
• Уроки нашей ситуации: как дружить с платформой на равных.
• Как мы взаимодействуем с большими платформами сегодня в новом продукте.

Есть 3 крупных источника информации для людей, принимающих продуктовые решения. Внутренняя аналитика своего продукта и customer development в широком понимании этого слова, как правило, успешно используются практически всеми продактами. Однако часто совершенно недооценен третий источник информации — рынки и конкуренты

На мастер-классе мы постараемся осознать, насколько сильно ограничиваем свой вижн, не запуская циклы Competitive и Market intelligence, и попробуем спроектировать MVP, основываясь только на данных CI & MI.

– Проанализируем индустрии. Разобьем рынок на сегменты, отприоритизируем, оценим специфику каждого сегмента.
– Углубимся в анализ выбранного сегмента. Посмотрим, что является триггерами к росту компаний.
– Проанализируем продукт и маркетинговые каналы.
– Опишем MVP и то, как его продвигать, на конкретном конкурентном лендскейпе

– Как правильно выбрать модель монетизации и почему это будут подписки.
– От чего зависит стоимость продукта и как сформировать правильные ожидания.
– Какими способами можно увеличивать LTV и что такое ROAS.
– Триалы, офферы, скидки и кое-что еще.

Я расскажу на примере своего продукта – абонемента в кино КиноПоиск Go, как происходит поиск подписной бизнес-модели, в чем здесь точки роста, как рассчитать юнит-экономику, какие показатели важны, как выстраивается маркетинг подписки. Поделюсь реальным кейсом с ошибками и инсайтами.

Я расскажу о том, как отказаться от ценообразования на основе себестоимости, затраченных усилий и скрупулёзном учете времени. И как перейти на ценообразование на основе ценности.

Повышение цен заставляет нас лучше продумывать ценность, которую мы приносим клиентам и более четко ее доносить. Расскажу на примерах 3х компаний о том, как повышение цен позволяет сфокусироваться на нужном сегменте, быстрее закрывать сделку и отстроится от конкурентов.

Стратегия бизнеса и маркетинга определяет, чем занимается компания, с какими сегментами на каких рынках она работает, как компания создает и доставляет ценность до своих потребителей, какую доминирующую логику создания ценности и бизнес-модель она использует, какие ресурсы, партнерства и активности задействует в создании ценности, какие продукты и сервисы компания предлагает рынку, какие инициативы и проекты развития бизнеса она реализует и тд. На практике достаточно часто можно видеть пропуск этой стратегии – весьма сложной не только для разработки, но даже и для понимания – и начало работы сразу с продуктовой или коммуникационной стратегиями – как более простыми и понятными стартаперам, разработчикам и специалистам по продвижению.

В этом небольшом докладе я расскажу о своем личном видении стратегии бизнеса и маркетинга, выработанном за 20 лет работы в консалтинге, 8 лет курирования курса "Маркетинг и бренд-менеджмент" в Британке и 2 года проведения курса "Стратегия бизнеса и маркетинга" в магистратуре экономического факультета им Ломоносова. Возможно, кто-то найдет это полезным для себя - если не всю концепцию, то хотя бы ее некоторые аспекты. Если же вы захотите овладеть искусством разработки стратегии бизнеса и маркетинга на более высоком уровне - то я с удовольствием подскажу вам возможные пути дальнейшего роста вашей экспертизы.

Что вы узнаете за 1,5 часа моей лекции:

• Кому будет полезна разработка стратегии бизнеса и маркетинга, а кому – не очень.
• Основные фреймворки, определения, ключевые используемые аналитические инструменты и канвасы разработки.
• "Высокие материи" бизнеса и их связь со стратегией. Целеполагание и каскадирование целей.
• Стратегия как внутренний продукт компании: отбор проектов развития бизнеса и инцииатив по критериям "ресурсоемкость" и "влияние на цели".
• Стратегия бизнеса и маркетинга на одном слайде или листе бумаги.
• Переход от стратегии бизнеса и маркетинга к коммуникационной стратегии.

Внезапное совещание, плавно перетекшее в сеанс брейнсторминга. Обсуждаем гипотетический запуск продукта: «У нас есть возможность сделать анонс в зале на две тысячи человек. Такого шанса еще год точно не будет. Давайте попробуем! Что скажете, это возможно?» Все по очереди кивают и смотрят друг на друга. До запуска JetBrains Space три месяца...

Я расскажу о том, что необходимо подготовить к запуску продукта (помимо самого продукта), какие есть подводные камни, где и что может пойти (и обязательно пойдет) не так и чего делать точно не стоит.

Мы поговорим о выборе названия продукта, как организовать процесс регистрации пользователей, о выборе ценовой модели, о подготовке пиар-кампании и самого запуска. Я расскажу, как прошел запуск Space, что получилось здорово, а что пошло не так и почему, какова была первая реакция и какие результаты мы получили.

Идеальный продуктовый оунер или менеджер – двигатель прогресса и фанат своего продукта. Конечно, он прекрасно знает свою целевую аудиторию и ее боли. Всегда может ответить на вопрос «Какую задачу мы решаем?» и рассказать бабушке про свой сервис скоринга для заводов на блокчейне.

Он сам может быть Продакт/Проджект/Маркетолог/Сейлз и Аккаунт в одном лице. Однако на определенном этапе развития бизнеса и для определенной ЦА неизбежно разделение ролей. И если с Project и Sales разделение понятно, то с Product Marketing все более сложно.

Подумаем вместе:
– Как Product marketing manager встраивается в процесс создания и запуска продукта. На примере запуска нового продукта Яндекса обсудим, какие грабли можно словить на разных этапах.
– Как разделять роли PM и PMM и сколько денег можно сэкономить на этом. Составим карту зон ответственности.
– Как синхронизировать разработку и маркетинг и что будет, если этого не сделать.

Расскажу про личный опыт запуска и продвижения продуктов для B2B.

Команда есть, продукт есть, юнит-экономика сходится, можно масштабироваться. Но как? На мастер-классе будем решать реальный кейс на масштабирвание привлечения.

Проанализируем бизнес, юнит-экономику, каналы привлечения и воронку. Сгенерируем гипотезы для роста.

Чтобы было интереснее, мастер-класс пройдёт в форме соревнования команд. Начинающие продакты смогут познакомиться с подходом, попробовать свои силы и посмотреть на чужие решения. Опытные продакты смогут показать свою силу, принести пользу идеями и выиграть призы.

Продакты часто представляют целевую аудиторию своего продукта как идеального клиента – лояльного, сообразительного, щедрого и т.д. Но таких клиентов не существует. Существуют только реальные люди со своими потребностями, проблемами и желания.

Когда мы сталкиваемся с необходимостью сегментации, то можем быть фрустрированы большим количеством способов и тем, что о них пишут в интернете. Кто-то "топит" за jobs-to-be-done, кто-то ругает Персоны и говорит про ABCDX-сегменты. А ведь надо еще и клиентов изучить, прежде чем их сегментировать!

На лекции мы попробуем разобраться в многообразии способов сегментации аудитории и пристально посмотрим на эти вопросы:

• Какие способы сегментации целевой аудитории бывают.
• Как сегментировать на основе поведенческих переменных.
• Неужели Персоны действительно не приносят ценности.
• Можно и нужно ли использовать jobs-to-be-done для описания целевой аудитории.
• Как построить исследования для изучения ваших клиентов.

Персонализация – это уже не просто тренд, но и обязательный атрибут любого популярного продукта или сервиса. Есть много устоявшихся продуктовых и дизайн-практик, которые делают опыт пользователя с приложением более личным. На первых порах для персонализации достаточно использовать данные, которые пользователь оставил о себе: имя, возраст, город.

С развитием продукта у нас появляется всё больше явных и неявных сигналов от пользователя: его действия и предпочтения. Что полезного можно извлечь из этих данных? Как это может повлиять на продукт и метрики?

Из этого доклада вы узнаете как во Flo Health сделали "умную" персонализацию, которая повлияла на 30 миллионов женщин по всему миру и улучшила продуктовые метрики.

Крупные бизнесы часто едут на рельсах внутренней экспертизы. Такой подход может работать довольно успешно и долго. Но команды обновляются, реальность вокруг меняется и это приводит к тому, что мало кто понимает, кто наша целевая аудитория, что ей нужно, какие продукты и сервисы им предлагать, чтобы больше кликали, пользовались, покупали.

Мы рассмотрим, как можно исследовать аудиторию, какие способы сегментации ЦА существуют, зачем и когда их применять.

Поделюсь опытом удачных кейсов и многомиллионных факапов крупных и средних компаний.

В маркетинге сегментация по персонам очень распространена – мы делим клиентов по понятным признакам и готовим для них адресные предложения. Но что делать, когда ценность от продукта находится на стыке аудиторий?

Эта история о том, как мы переформулировали ценностные предложения для b2b-продукта на основе выявленных работ (Jobs-To-Be-Done). Это помогло расширить клиентскую базу, проще доносить пользу и перейти от фичеризма к коммуникации потребностей.