Как яркие сиденья обеспечивают успех экспериментов

На прошлой неделе у нас была возможность провести вебинар с участием Билла Хиндермана, ведущего инженера-экспериментатора в Vivid Seats. Во время часового вебинара Билл рассказал обо всем, начиная с собственного опыта экспериментов и заканчивая реализацией Optimizely Full Stack в Vivid Seats, и он даже добавил несколько забавных аналогий. В вебинаре было так много золотых самородков, что мы не могли не обернуть некоторые из них, чтобы поделиться ими с читателями нашего блога.

Если вы пропустили вебинар, вы можете поймать его по требованию Вот ,

Билл начал вебинар, открыто признав, что экспериментирование сложно, создать экспериментальную культуру непросто, но это, безусловно, можно сделать, и это можно сделать хорошо и очень эффективно.

Начав свой опыт работы на Orbitz с использованием собственной платформы, он действительно научился использовать эксперименты в качестве драйвера платформы, когда перешел на Expedia. Имея за плечами новый опыт, он перешел в стартап под названием Raise, создал практику тестирования в инженерной команде и получил возможность наблюдать за экспериментами с продуктом в космосе за пределами туристической индустрии. Билл сказал об этом опыте: «В небольшой компании тестирование - единственный способ выжить. Экспериментирование делает наименьшее количество, чтобы учиться больше всего . «

Сегодня Билл проводит эксперименты на Vivid Seats, вторичном рынке билетов. Это рынок, на котором клиенты знают, на какие мероприятия они хотят пойти, но у них нет лояльности к бренду, высокой чувствительности к цене и, как правило, понятия не имеют, какой тип билетов они ищут. Этот профиль клиента приводит к тому, что ему приходится выходить за рамки простого тестирования элементов дизайна и вместо этого требует, чтобы его команда сосредоточилась на создании долгосрочных отношений с аудиторией и изучении того, как влиять на поведение клиента.

Например, Билл просмотрел пример в Vivid Seats, где у команды была гипотеза, что «добавление экрана сведений о билетах между списком билетов и экраном оформления заказа поможет пользователям найти более желательный билет, что в конечном итоге улучшит конверсию». Этот тип Изменения не ограничиваются веб-тестированием и изменением цвета кнопки или копии, а скорее обновления должны быть сделаны на стороне сервера, чтобы получить правильный тикет, подробности раздела и цену. Из этого примера Билл поделился полезным советом, что «вы должны тестировать глаголы, а не существительные». То есть вы должны тестировать измеримые изменения в поведении пользователей, а не только то, должны ли вы что-то создавать. В этом случае поведение, на которое команда хотела повлиять, заключалось в конверсиях на странице «купить билет». Он предложил решить, что такое глагол, прежде чем запускать тест, и сосредоточиться на поведенческих изменениях.

Билл также поделился полезной аббревиатурой, которую он использовал перед началом эксперимента: MVMRC (да, Билл обнародовал это на вебинаре, и я пытался сделать это сам, но не смог успешно).

Вы спрашиваете, что это означает?

• М: Измеримый (ведет ли это больше конверсий?)
• V: видимый (виден ли тестовой группе или определенной аудитории?)
• М: Значимый (действительно ли это изменение имело значение для наших клиентов, и они заботятся?)
• R: Реалистично (это то, что мы хотели бы рассказать всем?)
• C: Дешево (дешевле ли запустить тест или вывести тест из строя и случайно потерпеть неудачу?)

Пройдя через многочисленные экспериментальные примеры и лучшие практики, Билл закончил, продемонстрировав ценность создания центра превосходства. Этот центр передового опыта состоит из экспертов по тестированию, и основополагающие знания каждой команды будут исходить от этой группы людей. Цель должна состоять в том, чтобы иметь центр передового опыта, который распространяет лучшие практики и помогает консультироваться по тестам, но признает, что владение тестированием станет более децентрализованным и будет больше индивидуальной коллективной собственности по мере роста организации. Если вы создали сильный центр превосходства, вам не следует беспокоиться о децентрализованной собственности, поэтому тратьте время на ее создание.

В течение часа было еще много примеров и интересных лакомых кусочков, поэтому, если вы хотите узнать больше об опыте Билла по созданию экспериментальной культуры в четырех отдельных компаниях, обязательно посмотрите вебинар по запросу , Создайте свой собственный центр передового опыта и интегрируйте MVMRC в свой подход к тестированию уже сегодня!