Вдохновленные - Марти Каган

ПРЕДОСТАВЛЕНИЕ ДОСТУПА КАК СПОСОБ ДЕМОНСТРАЦИИ ЦЕННОСТИ

Вы можете попросить реквизиты доступа к какому-либо продукту, с которого пользователи готовы переключиться на ваш, объяснив это утилитой миграции или другой причиной. На самом деле вам не нужны ни их логин, ни пароль — просто вы хотите знать, ценят ли они ваш продукт настолько высоко, чтобы начать использовать его немедля.

ИТЕРАЦИИ ПРИ РАБОТЕ С ПРОТОТИПОМ

В этом случае ваша цель не что-либо доказать или подтвердить, а быстро и эффективно получить нужные и полезные знания. Вы считаете, что обнаружили новую проблему, либо хотите попробовать иной подход и вам нужно его проверить. Например, вы показали свой прототип двум разным людям, и их отзывы сильно отличаются, попытайтесь выяснить почему. Возможно, это два разных типа клиентов, и у них совершенно разные проблемы. Или это разные типы пользователей со своими навыками или квалификацией в разных предметных областях. А может, они используют различные решения, и один из них доволен продуктом, а второй нет.

Может также оказаться, что вам не удается заинтересовать людей той проблемой, над решением которой вы работаете, или у вас не получится сделать свое предложение удобным и понятным настолько, чтобы целевые потребители осознали его ценность. В этом случае вы, возможно, решите вообще прекратить работу над идеей или отложите ее. Некоторые продакт-менеджеры считают это серьезным провалом. Я же отношусь к такой ситуации как к благоприятной возможности для компании сократить ненужные траты на создание бесперспективного продукта.

Этот вид качественного тестирования замечателен своей простотой и эффективностью. Вы убедитесь в этом, дав свой ноутбук или планшет с установленным на нем продуктом или прототипом человеку, который его еще не видел, и предложив его опробовать.

И одно важное замечание: менеджер продукта должен присутствовать на каждом качественном тестировании ценности. Никогда никому не делегируйте эту обязанность и уж, конечно, не нанимайте для этого стороннюю фирму. Ваш вклад в эффективность своей команды в огромной мере зависит от прямого общения с как можно большим числом пользователей, тесного взаимодействия с ними при тестировании разных идей и внимательного изучения их отзывов. Если бы вы работали в моей компании, это условие было бы главнейшим критерием сохранения вашей фамилии в зарплатной ведомости.

Если предназначение качественного тестирования заключается в быстром обучении и составлении новой аналитической картины, то количественные методики — это инструменты для сбора подтверждений ценности ваших идей.

Иногда необходимо собрать достаточно данных для получения статистически достоверных результатов — особенно для потребительских сервисов с большим ежедневным трафиком, — а иногда планка устанавливается ниже. Мы просто собираем фактические данные об использовании продукта, которые считаем полезными подтверждениями его ценности, способными, помимо всего прочего, помочь нам принять обоснованное решение насчет наших дальнейших действий. Это и есть основное предназначение прототипа на реальных данных, который мы обсуждали раньше. Напомним, что такой прототип входит в число создаваемых на этапе исследования продукта для того, чтобы предложить ограниченной группе пользователей определенные сценарии его применения и в итоге собрать некоторые фактические данные об этом.

Существует несколько основных способов сбора таких сведений. Выбор методики зависит от объема вашего трафика, времени и отношения к риску.

У стартапов трафик обычно невелик, да и времени маловато, зато они смело идут на риск — ведь им еще нечего терять. В устоявшейся компании трафика более чем достаточно, и она располагает временем. Причиной для беспокойства обычно бывает то, что у менеджмента может лопнуть терпение. И, как правило, такие компании не склонны рисковать.

A/B-ТЕСТИРОВАНИЕ

Золотым стандартом этого типа тестирования считается A/B-тест. Мы очень любим эти тесты, потому что пользователь не знает, какую версию продукта он видит, и мы получаем данные, весьма надежные с точки зрения точности прогнозирования, к чему мы, собственно, и стремимся.

Имейте в виду: речь идет о немного ином типе A/B-тестов, чем A/B-тесты с целью оптимизации. Во втором случае мы экспериментируем с разными призывами к действию, цветовыми решениями кнопок и тому подобными вещами. Концептуально эти типы тестирования одинаковы, но на практике между ними есть важные различия. В частности, A/B-тесты с целью оптимизации обычно предполагают поверхностные изменения с низким уровнем риска; часто это тесты в рамках сплит-теста (50:50).

В ходе A/B-тестирования на этапе исследования мы демонстрируем продукт 99 процентам пользователей, а прототип на реальных данных — только одному проценту, а то и меньше. И гораздо внимательнее отслеживаем результаты.

ТЕСТИРОВАНИЕ ТОЛЬКО ПО ПРИГЛАШЕНИЮ

Если ваша компания не готова идти на риск или вам не хватает трафика, чтобы продемонстрировать версию продукта одному или даже 10 процентам пользователей и быстро получить значимые результаты, примените такой эффективный метод сбора доказательств, как тест только по приглашению. В этом случае вы определяете группу пользователей или клиентов, с которыми связываетесь и приглашаете испытать новую версию продукта. Вы говорите им, что это экспериментальная версия и, решив запустить ее на своем оборудовании, они дают согласие на участие в тестировании. Получаемые от этой группы данные не так информативны и полезны для прогнозирования, как полученные в результате реального «слепого» А/Б-тестирования. Очевидно, что чаще всего использовать «сырой» продукт соглашаются так называемые ранние последователи — люди, склонные ко всему новому и непривычному. Тем не менее мы получаем группу реальных людей, которые выполняют свою работу с использованием нашего прототипа на реальных данных, и данные, собранные таким образом, действительно очень важны и интересны.

Я даже не могу сосчитать, как часто мы полагаем, будто у нас есть то, что пользователи непременно полюбят, а после того как делаем это доступным для узкой группы людей, обнаруживаем, что их это ничуть не интересует. К сожалению, после проведения количественного теста данного типа мы точно узнаем только одно: что люди упорно этим не пользуются; и ни малейших подсказок и намеков на то, чем объясняется такая ситуация. Поэтому после такого теста проводится тот или иной качественный тест, позволяющий еще раз протестировать идею и максимально быстро узнать, почему пользователи увлечены ею не так сильно, как мы надеялись.

ПРОГРАММА ПО ВЫЯВЛЕНИЮ НОВЫХ ПОТРЕБИТЕЛЕЙ

В одном из вариантов теста только по приглашению к тестированию привлекают участников программы по выявлению новых потребителей, которую мы обсуждали выше, в разделе, посвященном методикам для выработки идей. Эти компании уже принимают участие в тестировании ваших новых версий, и у вас налажены с ними тесные взаимоотношения, благодаря чему можно без труда продолжить с ними сотрудничество.