Какова реальная стоимость использования веб-аналитики?

Платформ для аналитики множество: Google Analytics, Adobe, Mixpanel, Quantcast, KISSmetrics, Similarweb, Amplitude, FullStory и так далее. Руководители компаний полагаются на аналитику, чтобы понять поведение пользователей. Инструменты аналитики предоставляют девелоперам, менеджерам, дизайнерам, маркетологам и прочим специалистам информацию, необходимую для принятия решений — или, во всяком случае, обещают это сделать. Однако, как показывает практика, придется еще потрудиться, чтобы добраться до нужных данных, а правильные выводы стоят дороже, чем кажется. Вы когда-нибудь задумывались о цене?

Оценить стоимость вашей аналитики сложнее, чем может показаться на первый взгляд. Вот шесть факторов, из которых она складывается.

1. Стоимость инструмента (или инструментов) как таковая

Прейскурантная цена того или иного инструмента — это затраты, легче всего поддающиеся расчету. И на них разговоры об инструментах аналитики обычно и заканчиваются, потому что многие инструменты бесплатны, а платформы не взимают ежемесячной платы, как та же Google Analytics.

Помимо бесплатных инструментов есть, конечно, и те, которые предоставляют свои услуги по подписке. Цены на такие инструменты могут значительно отличаться в зависимости от множества факторов.

При оценке стоимости веб-аналитики характеристика «бесплатный» или «платный» должна быть лишь началом ваших расчетов. Не останавливайтесь на ценнике — особенно если инструмент считается бесплатным: как говорится, бесплатных завтраков не бывает. Оценка стоимости инструментов веб-аналитики связана как с прейскурантной ценой, так и с нетривиальными затратами, не связанными с деньгами, которые вы платите за услугу. Об этих неочевидных, редко обсуждаемых затратах — большая часть этой статьи. Начните с цены на инструмент, но затем копните глубже.

2. Стоимость настройки инструмента

Вы настраиваете инструменты аналитики не с помощью волшебной палочки — и их настройка может быть очень непроста. В зависимости от устройства вашего сайта или приложения она может требовать написания кода и его вставки в сами страницы или в хедеры шаблонов, в виджеты CMS и так далее.

И это еще не все. Настройка никогда не заканчивается: инструменты аналитики приходится подстраивать и масштабировать по мере роста вашего сайта или приложения. Чем сложнее становится выбранный вами инструмент аналитики, тем дороже поддерживать его в рабочем состоянии.

Чтобы оценить стоимость настройки, посмотрите, кто из ваших сотрудников будет ей заниматься и сколько стоит их время. Причем стоимость складывается и из зарплаты этих людей, и стоимости работы, которую они не делают, пока занимаются аналитикой вместо того чтобы исправлять дефекты продукта, улучшать его и так далее.

3. Влияние инструментов аналитики на скорость работы сайта

Каждая лишняя строка кода на вашем сайте может замедлить его загрузку и скорость его работы — что незаметно, но существенно влияет на пользовательский опыт. На эту тему написано немало статей. Так, одно исследование Google показало, что из-за лишних 40 миллисекунд загрузки результатов поиска количество запросов снижается на 0,44%. Ежегодно в Google поступает 2 000 000 000 000 запросов, и 0,44% из них теряется (9 000 000 000).

Скорость работы вашего сайта или приложения сказывается на чистой прибыли, так что стоимость того или иного инструмента аналитики (или нескольких инструментов) измеряется в ушедших пользователях, продажах, которых вы не сделали, и сниженном KPI.

4. Цена низкокачественных данных

Качество данных определяется множеством факторов, от очевидных вещей, таких как их релевантность и надежность, до неочевидных, на которые может влиять ваше мышление. Разберем этот вопрос более подробно.

• Релевантность данных. Касаются ли эти данные проблемы, которую вы пытаетесь решить? Достоверны ли они? Релевантность определяется тем, помогают ли данные ответить на волнующий вас вопрос, и своевременностью: будут ли они все еще полезны для ответа на вопрос к тому моменту, когда вы их получите?
• Надежность данных. Насколько быстро вы можете получить нужные вам ответы? Какие дополнительные действия требуются, чтобы их получить? Если инструмент аналитики предоставляет вам сырые данные, сколько времени нужно, чтобы обработать их и сделать необходимые выводы?
• Используемые метрики. Метрики, предоставляемые тем или иным инструментом аналитики, могут сильно, но незаметно влиять на качество данных, потому что сам их выбор задает рамки восприятия. Остановимся на этом подробнее.
  • 
    В своей книге «Думай медленно… решай быстро» (Thinking Fast and Slow) Даниэль Канеман (Daniel Kahneman) пишет, что люди принимают решения, руководствуясь только доступной им информацией и не учитывая того, что остается за кадром. «Что видишь, то и есть» — это напоминание об излишней самоуверенности. Применительно к веб-аналитике это тенденция концентрироваться только на том, что вам известно: данные, предоставленные инструментом аналитики, становятся единственным основанием для принятия решения, вы смотрите на них и делаете выводы, не задумываясь о том, что ваша информация может быть неполной.
  • Эффект фрейминга. Подача информации влияет на то, как она воспринимается и интерпретируется. Какое из следующих утверждений звучит позитивнее: «90% пользователей проигнорировали новую функцию вашего сайта в первую неделю после ее появления» или «10% пользователей заинтересовались новой функцией в первую неделю после ее появления»?
  • Допущения. К каждому симпатичному графику или чистой метрике прилагается пачка допущений и предубеждений, и, как говорится, дьявол в деталях. Человек, проводящий анализ, может сделать предвзятые выводы со своей точки зрения. Нобелевский лауреат Рональд Коуз (Ronald Coase) сформулировал эту мысль так: «Если пытать данные достаточно долго, они признаются в чем угодно». Если вы некоторое время поработаете с аналитикой, вы непременно услышите саркастичный вопрос: «А какие цифры вы хотите увидеть?». Каждый раз, принимая решение на основании той или иной метрики, вы полагаетесь на ее валидность. Однако некоторые метрики обобщают данные, и если вы используете средние значения и не присматриваетесь к нюансам, вы можете прийти к неверным выводам.
  • Одна из метрик, задающих восприятие данных, — уровень отказов. Он отражает процент пользователей, которые приходят на ваш сайт только для того, чтобы тут же его покинуть. На практике понять эту метрику гораздо сложнее, чем кажется. Эффект фрейминга заставляет нас думать, что высокий уровень отказов — это плохо, однако, учитывая количество одностраничных приложений, страниц с бесконечной прокруткой и прочих нюансов, которые есть у каждого сайта или приложения, уровень отказов может быть просто нерелевантен сам по себе. Концентрируясь на нем, вы признаете его полезной метрикой, которой стоит руководствоваться, принимая решения. На самом деле все зависит от ситуации, о чем, кстати, говорится во вспомогательной документации Google Analytic об этом показателе.
• Выборка данных (сэмплинг, sampling). Если ваш инструмент аналитики использует выборку данных, их качество под вопросом: насколько вы уверены, что они верно отражают действительность? В зависимости от того, что измеряется, достоверность и значимость той или иной выборки может отличаться. Многие инструменты аналитики полагаются на сэмплинг, чтобы снизить требования в отношении ввода и обработки данных на своем сервисе, но насколько надежны такие выборки? Разные устройства, браузеры, операционные системы и их сочетания приводят к тому, что поведение индивидуальных пользователей очень сильно различается. Как тот или иной инструмент аналитики собирает данные? Если он опирается на сэмплинг, вам стоит подумать о надежности этой процедуры.

Качество данных имеет значение. Цена некачественных данных — неверные решения, которые стоят времени и денег. Убедитесь, что ваш инструмент аналитики не собирает кучу данных, которые, возможно, не отвечают на ваши вопросы или отвечают неясно, и вам приходится проводить дополнительные исследования, используя этот же инструмент или обращаясь к другим.

5. Цена множества инструментов

Идеальный, всезнающий аналитический инструмент, владеющий всеми мыслимыми данными, не существует (пока). Следовательно, чтобы заполнить пробелы в знаниях, командам приходится пользоваться несколькими инструментами. Каждый из этих инструментов подвержен описанным выше проблемам: стоимость самого инструмента, его настройки и использования, влияние на скорость работы сайта или приложения и качество данных, — а бонусом вы еще получаете стоимость взаимодействия: вам придется переключаться с одного инструмента на другой, управлять множеством подписок, помнить, как пользоваться каждым из инструментов и для чего он полезен (или бесполезен) и так далее и тому подобное.

Возьмите проблемы, возникающие при использовании одного инструмента, и умножьте на их количество. Причем стоимость использования нескольких инструментов способна складываться. Когда вы оцениваете общую стоимость своих инструментов аналитики, необходимо учитывать дополнительный уровень сложности, появляющийся при управлении несколькими инструментами.

6. Стоимость аналитики самой по себе

Последняя в списке, но не по значимости, — стоимость проведения анализа как такового. Она складывается из того, насколько сложно пользоваться инструментом и можете ли вы использовать его сами или нужно нанимать для этого отдельного специалиста. И на то, и на другое вы тратите больше всего времени.

• Простота использования инструмента. Можете ли вы самостоятельно и сразу извлечь из инструмента нужные данные и сделать выводы? Сколько нужно учиться, чтобы эффективно применять инструмент? Чем он сложнее, тем больше трения происходит при получении данных.
• Наемные специалисты. От простоты использования напрямую зависит то, понадобится ли вам нанимать отдельного специалиста для обработки данных. Если он необходим, вы потратите деньги на оплату его услуг и, что менее очевидно, время.
• Время. Как говорится, время — деньги. Время уже упоминалось в этой статье как один из главных показателей качества данных: релевантны только своевременные данные. Как вы оцениваете стоимость времени? Чтобы ответить на этот вопрос, нужно провести отдельный анализ, однако сработает и вот такая простая эвристика: ценность информации обратно пропорциональна времени, которое необходимо, чтобы ее получить. Применительно к веб-аналитике время делится на две категории:

1. Время для того, чтобы получить данные. Сколько времени нужно потратить, чтобы получить сырые данные? Этот показатель зависит от сложности инструмента: требований к настройке, простоты использования, простоты извлечения данных из инструмента и т.д. Приходилось ли вам искать какую-нибудь информацию, только чтобы найти очень полезный график, который невозможно извлечь из инструмента?

2. Время для того, чтобы сделать выводы. Сколько времени необходимо, чтобы переработать сырые данные в значимую информацию, которой можно руководствоваться при принятии решений? Инструменты аналитики могут собирать необычайно полезные данные, которые легко извлечь, однако их бывает болезненно трудно превратить в рабочие выводы.

Пример. На то, чтобы извлечь данные из отчета, у вас уходит в среднем 20 минут, — это время для того, чтобы получить данные. Затем вам требуется два часа, чтобы обработать данные и сделать выводы. А теперь повторите процесс пару сотен раз, а если вы аналитик, прибавьте сюда трение, возникающее, когда вы сдаете отчет, только чтобы обнаружить, что его нужно переделать для другого временного периода или еще какой-нибудь переменной. Аналитика стремительно поглощает время.

Общая стоимость аналитики

Генри Форд сказал: «Если вам нужна машина и вы ее не покупаете, в конце концов вы обнаружите, что уже заплатили за нее, но у вас ее по-прежнему нет». Вот таблица, которая поможет вам подсчитать общую стоимость аналитики: