Управление игровой разработкой
Одержимость данными и политика фактов
Применение и злоупотребление самыми разнообразными типами данных в игровой индустрии всегда меня занимали. Разрабатывая любой продукт, мы, само собой, должны учитывать широкий объём данных: сведения об игроках, о самой игре, о производственном процессе, о тенденциях индустрии, о конкурентах и о многом другом. Благодаря развитию технологий нам доступно больше данных, чем когда-либо, но также появилось и больше шума. Многие постулировали, что свободный доступ к данным должен демократизировать производство: где раньше побеждали предложения самых старших, нахальных, харизматичных или имеющих нужные связи сотрудников, теперь можно пустить в ход объективный анализ на основе данных, чтобы победила лучшая идея. По крайней мере в теории, однако как и со многими теориями, она оправдывается в зависимости от факторов.
В данной записи я хотел бы поговорить о случаях, когда превознесение роли данных приводит к различным проблемам даже в слаженном коллективе, включая поощрение политиканства, которое такой подход вроде бы и должен подавлять. По личному опыту и рассказам коллег я считаю, что эти проблемы довольно распространены в отрасли и поэтому их стоит обсудить.
Ловушка № 1: Принятие решений исключительно на основе данных
"Нам здесь не нужны мнения. Только факты!"
Эта фраза накрепко засела в моих воспоминаниях об игровой индустрии. Я услышал её на серии заседаний на самом высоком уровне, где собравшиеся руководители и разработчики обдумывали, следует ли начать выпускать игры под новую платформу. Так ведущий оборвал моё предложение начать встречу с того, чтобы все высказались и обосновали свои мнения. В результате весь остаток заседаний я наблюдал зачастую уморительные попытки участников изобразить объективность, избегая упоминать собственное мнение и вкусы, зато представляя те избранные фрагменты данных, которые удивительным образом подводили под нужный ответ. Эти фрагменты обязаны были быть либо численной статистикой, либо общепризнанными идеями (вот что ведущий подразумевал под фактами), иначе бы их отвергли. Утверждение "в прошлом году на платформе вышло N игр, которые заработали в сумме M денег" считалось полезным наблюдением, а "нам не следует переходить на платформу, в которой не разбирается ни один из наших специалистов" - всего лишь мнением, которое следовало сходу отмести.
Какие бы благие намерения ни стояли за таким методом, подобные попытки установить истину через превознесение данных и подавление мнений - настоящая катастрофа. Цель обычно заключается в поддержании объективности. Но идея, что существует единственный "объективный" взгляд даже в вопросах, связанных со многими неизвестными в бурной и сложной сфере (например, обсуждавшийся нами вопрос), в корне порочна. Так же не верно утверждение, что как только становятся известны все релевантные данные, из них можно стандартным образом вывести "правильный" ответ.
Я называю политиканством на рабочем месте любые попытки пропихнуть личные или командные интересы в ущерб таковым проекта или компании. Этот термин не направлен против отдельных людей: во всех случаях политиканства, с которыми мне приходилось сталкиваться, за ними ни разу не стояли по-настоящими злые люди или манипуляторы. Однако различные сложные причины толкают тех или иных людей в коллективе, особенно большом, ставить собственные интересы выше общих. Идея подавлять мнения в пользу "фактов" - худший способ бороться с политиканством. Большинство людей всё равно остаются пристрастными, осознают они это или нет, и меняется только их способ выражения пристрастий. Что создаёт целый ряд сложностей:
Люди, склонные к политиканству, больше не обязаны объясняться. Они просто выберут данные, способствующие их цели. Без открытого обсуждения их нельзя вывести на чистую воду.
Некоторые люди, действительно переживающие о собственной субъективности, перегнут палку и приведут даже нерелевантные данные для уравновешивания собственных убеждений. Упоминая таковые данные и придавая им вес, они создадут у незнакомых с проблемой слушателей ложное впечатление о значимости этих данных.
В безнадёжно превозносящей статистику культуре часто игнорируется всё, что нельзя выразить числом (например, в оценке работы людей в коллективе). Если что-то нельзя измерить, это не значит, то оно не важно.
Величайшая трагедия этого прославляющего данные подхода - механизация производства. Zynga называет принятие решений на основе данных своим "секретным ингредиентом", фирменным методом создания игр через следование пошаговой инструкции. Задумайтесь, что это значит для их сотрудников: от них требуется только составлять сводные таблицы и исполнять волшебный ритуал, призывающий успех. Незаменимых в такой схеме нет. Это крайне опасный бизнес-подход, пытающийся уничтожить любое отклонение от формулы.
Я прекрасно понимаю, что вера в высшую истину, которую всегда может выявить пристальное изучение узора данных, успокаивает на фоне нестабильной сферы, к каковой относится любая творческая отрасль. Не ведитесь! Творческая отрасль - неизбежный риск. Вместо слепого следования данным с убеждённостью, что это снижает риск, следует использовать данные как подспорье для снижения риска до приемлемого уровня. Увы, в некоторых компаниях внутренняя политика демонизирует любой риск, из-за чего все пытаются укрыться за спасительными данными.
Ловушка № 2: Потеря фокуса и трата времени на мелкие статистические доработки.
У Джесси Халла можно посмотреть о популярном подходе, особенно в разработке социальных и мобильных игр: А/Б-тестирование, позволяющие улучшить показатели бизнеса до немыслимых ранее высот. Для достижения эффекта А/Б-подход требуется внедрить глобально, то есть все сотрудники должны мыслить о любых доработках, больших и маленьких, только в разрезе тестов. В качестве примера говорится, что если получится найти 10 идей, увеличивающих ключевой показатель по 4%, то в итоге прирост составит впечатляющие 50%.
Этот подход стал настолько распространённым, что многие разработчики и пресса приняли его как непреложную истину, о которой и говорить нечего. Просто все так думают и приводят это как аксиому. Вот лишь несколько примеров:
http://www.wired.co.uk/magazine/archive/2012/01/features/test-test-test
"Wooga - разработчик нового времени, полагающийся на метрики, а не фантазию. Суть их подхода в А/Б-тестировании, позволяющем проверить все нововведения на группе пользователей и измерить их реакцию. Нововведения идут в ход только если пользователи на них реагируют. Если этого не происходит, Wooga пробует новые идеи, пока не отберёт успешные."
Эли Ходап из TouchArcade в интервью журналу "Тайм":
"Многие из самых доходных игр в буквальном смысле сконструированы с применением научного подхода, когда профессиональные психологи продумывают всё вплоть до цвета кнопки, а затем эти предложения А/Б-тестируется на доходность."
Когда я попросил уточнения, он высказал уверенность, что все игры с верхушки коммерческих рейтингов попали туда благодаря тому, что в них А/Б-тестируется всё, включая мелочи вроде цветов кнопок (жирность добавлена мной).
Цвет и форма кнопок - крайне популярный пример, пробравшийся даже в отчёты ESPN:
"Сотрудники с такими названиями должностей как "исследователь данных" проверяют, вероятнее ли игрок нажимает на квадратную или круглую кнопку."
И далее:
"Малейшее улучшение может стать золотым дном для студии. Как поведал мне один аналитик, "Если вы сможете подобрать такой цвет меню, чтобы ваши 10 миллионов пользователей в среднем тратили на 1 цент в месяц больше, то разница в доходах будет колоссальна."
Я крайне благодарен за опыт работы в некоторых из самых успешных мобильных играх, что позволяет мне с ясностью судить о высказываниях выше как о полной чуши.
Когда я только устроился в коллектив "Clash of Clans", то сразу спросил об А/Б-тестировании и получил такой ответ от начальника отдела: "Я не верю в А/Б-тестирование. Просто постарайся улучшить игру." Мне также рассказали, что над игроками CoC не провели ни единого А/Б-тестирования. Это было в конце 2013 года, когда игра была уже настолько популярна, что бОльшего успеха было и не представить. Но в любой из одержимых данными компаний мне бы просто ответили, что благодаря величине пользовательской базы А/Б-тестируются все мелочи вроде цвета кнопок, вариаций игрового процесса и виртуальной экономики. Продолжая утверждение из отчёта ESPN, если изменение цвета меню способно заставить миллионы игроков раскошелиться в среднем на 1 цент больше, это уже существенное улучшение игры.
Вместо всей этой тяжёлой работы команда CoC решила создать механизм клановых войн - новую, сравнительно сложную фишку, которая по их мнению значительно улучшит игровой опыт. За всё время разработки я не заметил ни оного решения, принятого исключительно на основе обширной собранной статистики о поведении игроков, хотя иногда мы привлекали данные, чтобы проверить догадки (в частности, о размере кланов и суточной активности). Хотя все мы с восторгом представляли, как будем играть в это с нашими соклановцами, никто заранее не знал, будет ли фишка успешной. По прошлому опыту работы в сугубо политических коллективах я не мог отделаться от мысли, что во многих других компаниях подобное просто бы не прокатило. Зачем рисковать нарушить то, что и так работает, особенно не имея ни малейшего доказательства со стороны данных об успешности фишки?
Вопреки распространённому мнению, не все успешные мобильные игры устраивают А/Б-тесты.
Когда клановые войны увидели свет, успех был грандиозным. Но давайте проведём мысленный эксперимент и представим, что команда решила внедрить глобальный А/Б-подход и начать тестирование всех элементов игры (да, включая столь, очевидно, важный цвет кнопок). Может быть, после месяцев или даже лет анализирования мелких экспериментов и сбора данных нам бы удалось найти те 10 изменений, каждое из которых увеличивало бы ключевую метрику на 4%, дающих в сумме около 50% прироста. Все бы похлопали друг друга по плечам за приверженность данным и отпраздновали бы наш большой успех - совершенно не подозревая об упущенной прибыли из-за не-выпуска клановых войн. Никакие данные не могут поведать о том, чего не произошло.
С моей точки зрения, в данном случае именно игнорирование всех ортодоксальных нотаций об А/Б-тестировании и привело к грандиозному успеху.
Я не сомневаюсь, что существуют компании - творческие нули, мучающиеся с вопросом о наиболее прибыльной форме кнопок или спешно вываливающие на рынок третьесортные игры, в успех которых и сами не верят, лишь бы наполнить данными свою машину А/Б-тестирования. Я даже не сомневаюсь, что некоторые из них извлекают краткосрочные прибыли из этого подхода. Но я точно знаю, что называть одержимость данными единственным способом достичь настоящего успеха - это чистый обман. Не принимайте это утверждение ни за что иное. Если вы решили работать в компании, ставящей данные выше всего остального и дотошно А/Б-тестирующей каждую деталь, то хотя бы не пребывайте в уверенности, что только так игры и делаются.
Ловушка № 3: Непонимание кратковременности предсказаний на основе данных
Zynga известна своей приверженностью числам. Это достаточно очевидно со стороны, начиная со злополучного менталитета их директора о достижении показателей любыми средствами, вплоть до открытого признания, что показатели для них важнее игры. Хотя я не работал с ними лично, но я слышал истории о том, как в их командах задача не считается выполненной, пока она не будет внедрена в игру и числа в реальном времени не поползут вверх.
В разработке игр исследование данных часто носит предсказательный характер. "Если мы введём фишку X, мы ожидаем Y%-ный прирост в удержании", "Если мы добавим многопользовательский режим, мы ожидаем увеличение срока жизни пользователя". Правильно проведённое А/Б-тестирование предсказывает усреднённое поведение миллионов игроков на основе ограниченной выборки. Но что оно говорит о долговременности такого поведения? Крайне мало.
Каждый занимающийся такими предсказаниями должен понимать сложность предвосхищения будущего. Чем дальше в будущее пытаешься заглянуть, тем ниже точность предсказаний. Обширные данные улучшают картину, но с каждой неделей, что уж говорить о годах, объём необходимых данных растёт экспоненциально (а также требуемая глубина анализа).
Это не так уж сложно понять, и подобное верно не только для игр. Вот почему прогноз погоды дальше недели вперёд почти никогда не сбывается. Видя это, я не совершенно удивляюсь, что Zynga, почти всецело полагающаяся в своём развитии на данные, показала хорошие кратковременные результаты, но не смогла поддержать этот темп долговременно. Что меня удивляет - это сколько разработчиков рассчитывают, что успех от краткосрочных изменений экстраполируется на удалённое будущее.
Опытные разработчики знают, что долговременный эффект изменений, выведенных благодаря данным, не всегда предсказуем по их кратковременному действию. Долговременные эффекты следует предсказывать отдельно, и часто это слишком сложно или просто невозможно сделать, отталкиваясь от одних только чисел.
Пример очевидного повода отклонить изменение, предлагаемое данными - это если такое изменение вредит игровому процессу, даже если оно обещает улучшить доходность или другие важные для компании показатели. Но многие компании пропускают такие изменения. Вдохновлённая Зингой виральность раннего Фейсбука раздражала играющих пользователей сверх всякой меры, хотя и собирала новые регистрации. Полноэкранный баннер со специальным предложением только выбесит игроков, не заинтересованных в нём, даже если несколько увеличит доход. Изменение интерфейса, из-за которого игроки иногда будут случайно тратить премиум-валюту, очевидно, улучшит показатели траты премиум-валюты, но помешает выстроить лояльную пользовательскую базу, поскольку поселит недоверие.
Не особенно дружелюбный интерфейс.
В политически заряженной среде сложно возражать против таких нововведений. Стоит так сделать, как придётся держать ответ: "А какие у вас данные?", и любые не имеющие статистики рассуждения будут отметены как рассусоливание, в то время как оппонент предлагает чёткий и быстрый рост показателей.
Если только ваша компания не сводится к извлечению разовой выгоды, её наверняка должна интересовать собственная жизнеспособность. Многие фирмы утверждают, что только жизнеспособность им и нужна. Если это не пустые слова, компания ни за что не согласится внедрить подсказанную данными фишку, не проанализировав его долговременную благоприятность. Если прогноз неудовлетворительный, то никакие манящие кратковременные показатели не заставят тратить на неё время. Так что занимаясь разработкой на основе данных, всегда отдельно оценивайте потенциальные долговременные последствия. Часто это означает положиться исключительно на мнения и опыт нанятых специалистов.
Пусть данные поддерживают вашу страсть к играм, а не наоборот.
Моё главное беспокойство насчёт повальной одержимости данными состоит в том, что мы, возможно, воспитываем целое поколение разработчиков, убеждённых в необходимости забыть всё увлекательное в играх и сосредоточиться на сборе чисел, дотошном анализе и мелкой настройке, видя это как единственный путь к успеху. Я постоянно вижу молодых разработчиков, сходу окунающихся в эту культуру, набирающихся опыта среди попугаев-проповедников данных. Их мышление и манера речи пугают меня.
Мой опыт работы с успешными командами даёт мне преимущество: доказательства, что чрезмерное увлечение статистикой не требуется на пути к успеху. Я собираюсь применять данные как подспорье в разработке интересных игр, а не в качестве таковой. С помощью данных я уменьшу риски своих игр на современном бурном рынке, а не стану разрабатывать игры под их диктовку. Я стану тестировать ключевые фишки и проверять догадки, а не тратить время на эксперименты с цветом меню. Я никогда не позволю данным встать на пути увлекательного игрового процесса, даже если те уверяют меня в необходимости полноэкранного баннера.
Чего и вам советую.