Data mining (интеллектуальный анализ данных) — это извлечение ценной информации из большого объёма неструктурированных данных.
Неструктурированные данные — это то, что сложно стандартизировать: документы с текстовыми данными, видео, аудиофайлы, сообщения в социальных сетях, электронные письма и многое другое. Обычно это 80–90% от всех данных любой компании.
Если данных много, они бесполезны: эта груда терабайтов не приносит пользы, да ещё и требует расходов на своё хранение. Чтобы бизнес получил от данных пользу, нужна система их организации, поиск шаблонов и идей. Это именно то, что делает data mining.
Специалисты по Data Mining берут неструктурированные данные и находят в них закономерности, которые помогают:
- лучше понять своих клиентов,
- обнаружить мошенничество,
- лучше контролировать бизнес-процессы,
- дешевле привлекать клиентов,
- терять меньше клиентов,
- управлять кредитными рисками и многое другое.
В этой статье вы узнаете, как именно data mining помогает бизнесу зарабатывать миллионы долларов и как стать специалистом, приносящим эти самые миллионы.
Нет времени читать статью? Найдите её в нашем телеграм-канале и сохраните себе в «Избранном» на будущее.
Содержание статьи
В каких отраслях применяется Data mining?
1. Маркетинг и реклама
2. Розничная торговля
3. Банки
4. Телеком
5. Страхование
6. Медицина
7. Правоохранительные органы
8. Военные
9. И многие другие отрасли
Как Data Mining связана с Data Science?
Чем Data Mining Specialist отличается от Data Scientist?
В чем отличие Data Mining от Big Data?
Где выучиться на эту профессию?
Какие навыки и знания нужно иметь для первоклассной карьеры Data Mining Specialist?
Какие компании интересуются этими специалистами?
Какая зарплата у Data Mining Specialist?
Что такое Data mining?
Концепция data mining восходит ещё к 1700-м годам. Теорема Байеса и регрессионный анализ — ранние примеры того, как люди выявляли закономерности в море данных.
Термин «data mining» впервые появился в 1983 году, а к 90-м годам, с рождением интернета, он стал по-настоящему популярным.
В 1995 году сеть гипермаркетов Tesco передала море своих данных гениальному стартапу — Dunnhumby. Эта аналитическая компания умела превращать необработанные данные сначала в идеи, а затем в полезные для бизнеса действия, используя только анализ данных.
Dunnhumby расписали для Tesco интересные идеи для внедрения в бизнес, после чего председатель совета директоров Tesco удивленно заявил:
«Ну, это меня очень беспокоит, потому что вы, кажется, узнали о моём бизнесе за три месяца больше, чем я узнал за 30 лет».
Это было только начало.
В настоящее время компании собирают гораздо больше данных, чем могут переварить: 90% данных было создано за последние 2–3 года.
Сейчас каждый раз, когда кто-то нажимает лайк в Фейсбуке, кладёт товар в корзину, проводит кредитной картой в магазине, заходит на сайт или просто спит со смарт-часами на руке, какая-то компания получает данные.
Весь этот океан данных создаёт шум, который прячет крупицы важной информации среди вороха бесполезной. Data mining — мощный способ извлекать важные данные.
Это приносит колоссальную прибыль компаниям. Известны кейсы, когда прибыль от внедрения data mining превысила затраты в 70 раз или годовая экономия составила $700 000 за счет внедрения data mining.
Посмотрим подробнее, где data mining полезнее всего и как он работает.
В каких отраслях применяется Data mining?
Data Mining можно применять везде, где есть большие объёмы данных.
1. Маркетинг и реклама
Задачи data mining: сегментация клиентов, улучшение качества обслуживания, разработка новых продуктов.
а) Сегментация и качество обслуживания
Data mining помогает предприятиям разделить своих клиентов на разные группы и для каждой подготовить свою маркетинговую кампанию. Получаются персональные рекламные акции, персональные рассылки и персональные стратегии удержания.
Федеральный кредитный союз ООН сегментировал базу клиентов для рекламы специальной кредитной карты Visa, получив в результате 3% откликов вместо стандартных 0,5%.
Компания McDonald's благодаря майнингу в социальных сетях вернула сычуаньский соус и запустила поздние завтраки.
Люди выстраиваются в очередь за сычуаньским соусом в McDonald's на Манхэттене. Изображение: businessinsider.com
Китайский оператор мобильной связи сгруппировал абонентов в 15 сегментов на основе их звонков в компанию (!), и для каждого сегмента разработал свою стратегию удержания и увеличения среднего чека.
Одна авиакомпания обнаружила сегмент клиентов, которые много летали на короткие расстояния — они не накапливали достаточно миль и не попадали в бонусную программу удержания, хотя клиенты были важными. В итоге авиакомпания стала поощрять число полетов так же, как и мили, что добавило ей тысячи преданных клиентов.
Duetto — это ПО, которое позволяет отелям персонализировать свои цены. Зная, сколько обычно клиент тратит на бар и разные дополнительные услуги, можно предложить ему более низкую цену за номер, ведь он потратит деньги на другие услуги.
b) Разработка новых продуктов
С помощью data mining можно определить, что ваши клиенты говорят о текущих продуктах (это поможет разрабатывать их улучшенные версии) и какие продукты они хотели бы видеть.
Ford постоянно совершенствует свои машины после тщательного анализа больших данных. Например, после программного изучения комментариев в социальных сетях, компания заменила заднюю дверь Ford Escape, сделав её электроприводной.
Netflix, благодаря data mining, заранее знает, какой фильм и сериал станет популярным. Сериал «Карточный домик» — прекрасный пример результата такого анализа. Бренд изучил «всего лишь» 30 миллионов воспроизведений, 4 миллиона рейтингов подписчиков и 3 миллиона поисковых запросов.
Шуточная формула успешности сериала. На самом деле Netflix фиксирует 500 000 000 000 пользовательских событий в день. Есть, что анализировать. Изображение: everydaymarketing.co
Domino's собирает 85 000 структурированных и неструктурированных источников данных для создания идеальной пиццы.
2. Розничная торговля
Задачи data mining: анализ покупательской корзины для улучшения рекламы, подготовка запаса товаров на складах, открытие новых магазинов и выявление потребностей разных категорий клиентов.
a) Анализ покупательской корзины или «анализ сходства»
Компании могут прогнозировать, какие товары покупают вместе или какие товары помещают в одну и ту же корзину. Это помогает спланировать кросс-продажи, систему рекомендаций, акции, оформление каталогов и т. д.
Люди, которые покупают хлеб, с большой вероятностью купят и масло, поэтому скидка на хлеб обычно увеличивает продажи масла. Правда, не всегда всё так очевидно.
Говорят, Walmart обнаружил, что, когда мужчины приходят в детский отдел за подгузниками, затем они берут пару бутылок пива для себя. Walmart переместил пиво поближе к подгузниками и значительно увеличил продажи обоих товаров.
По поводу достоверности этой истории спорят много и яростно, но подход к анализу данных этот пример иллюстрирует хорошо. Изображение: blog.a4everyone.com
Cамые известные примеры анализа потребительской корзины можно встретить у Amazon, Озон и других крупных интернет-магазинов. Это рекомендательные блоки «с этим товаром часто покупают», «…часто смотрят» и подобные фразы.
Investopedia оценивает, что на подобные рекомендации приходится чуть более трети от общего объёма продаж Amazon (!). Изображение: amazon.com
Анализ потребительской корзины можно применять не только в ритейле. Подойдёт он и в производстве для прогнозного анализа отказа оборудования, а в финансах — для обнаружения мошенничества на основе данных об использовании кредитных карт.
b) Прогнозирование спроса
Можно посмотреть когда и сколько покупают клиенты, и предсказать, когда и сколько они купят снова. А можно использовать эти данные не совсем типично, как например, Walmart и Starbucks.
Walmart использует data mining для прогнозирования покупательского спроса в определенные часы и, исходя из этого, рекомендует необходимое количество персонала в магазинах.
Starbucks открывает новый магазин в новом месте только после тщательного анализа огромного объёма данных. Изучив местность и демографию, бренд понимает, будет ли точка прибыльной и, если да, то насколько.
В Нью-Йорке у Starbucks более 225 магазинов и дальнейшее расширение требует анализа больших данных. Изображение: nycdatascience.com
c) Многие другие задачи розничной торговли:
Например:
- создание профилей покупателей,
- анализ моделей покупок,
- оценка рекламных кампаний и рекламных акций,
- оценка лояльности покупателей разных сегментов,
- исследование временных зависимостей,
- изучение пути клиентов,
- управление запасами на складах,
- анализ оттока,
- оценка эффективности обслуживания и т. д.
Компания Envelopes проанализировала шаблоны по брошенным корзинам и выяснила, в какое время и с каким содержанием нужно присылать напоминающие письма каждому сегменту. Это увеличило конверсию в продажи на 40%.
3. Банки
Задачи data mining: оценка кредитоспособности клиентов, автоматическое определение процентной ставки и выявление мошенничества с кредитными карточками (получается сокращение мошеннических операций на 20–30%).
Итальянский Credem Bank сократил на 70% время оформления кредита и сэкономил €1 400 000 за счет автоматизации 91 процесса.
Один из крупнейших мировых банков JP Morgan внедрил систему, способную анализировать 12 000 кредитных договоров за несколько секунд, вместо 360 000 часов ручной работы, как это делалось раньше.
4. Телеком
Задачи data mining: уменьшение оттока клиентов и привлечение новых.
Verizon — один из крупнейших операторов сотовой связи в США — добился довольно точного предсказания оттока клиентов с погрешностью в 1–2%. С помощью data mining Verizon спрогнозировал, что произойдет с каждым клиентом через 3, 6, 9, 12, 18 месяцев, и вычислил, кто из них уйдёт к конкурентам. Компания также выяснила, как уговорить каждого из этих потенциальных беглецов остаться.
5. Страхование
Задачи data mining: выявление мошенничества и анализ риска.
Крупная американская страховая компания обнаружила, что суммы, выплаченные по заявлениям людей в браке, вдвое превышают суммы по заявлениям одиноких людей. Компания пересмотрела свою политику скидок для семейных клиентов, что сократило её расходы на миллионы долларов.
6. Медицина
Задачи data mining: создание новых лекарств, помощь в постановке диагноза и сокращение времени ожидания в больницах.
Более 14 000 больниц внедрили ПО Cerner Corporation, которое благодаря data mining прогнозирует состояние здоровья пациентов. Например, эта система спасла тысячи жизней, точно и вовремя предсказывая у пациентов смертельный сепсис.
Британский стартап Babylon Heath собирает всю информацию о здоровье клиентов, их образе жизни, привычках и помогает понять, какие обследования нужно провести и какое лечение назначить.
Создатели этого ПО заявляют, что их искусственный интеллект может оценивать общие состояния людей точнее, чем это делают врачи-люди. Изображение: babylonhealth.com
Компьютерная модель, которая работает в том числе с data mining, проверяет более ста миллионов химических соединений за несколько дней, пытаясь найти новый антибиотик. Недавно ей это удалось.
Проанализировав 6000 соединений, программа нашла одну молекулу с сильной антибактериальной активностью и химической структурой, не похожей на любой из существующих антибиотиков. Изображение: news.mit.ed
7. Правоохранительные органы
Задачи data mining: прогнозирование будущих преступлений и поиск преступников.
В Лос-Анджелесе в тех районах, где использует ПО с data mining, кражи со взломом сократились на 33%, а насильственные преступления — на 21%.
Благодаря data mining удалось найти, пожалуй, крупнейших мошенников в сфере здравоохранения. Они заставляли пожилых людей записываться на ненужное генетическое тестирование и получили $2 100 000 000.
8. Военные
Задачи data mining: наведение орудий, отражение атак и военная разведка.
С помощью интеллектуального анализа данных морские пехотинцы США находили придорожные бомбы в Афганистане. А система Chaff обнаруживает ракеты рядом с кораблем, рассчитывает их траекторию и сбивает их собственными ракетами. Действует быстрее, чем самый опытный капитан.
9. И многие другие отрасли
Например:
- автомобильная,
- транспортная,
- строительная,
- химическая,
- разные виды услуг,
- развлечения,
- социология,
- генная инженерия и другие.
Всё о профессии Data Mining
Data Science, Data Scientist, Data Analytics, Data Mining, Big Data — это мешанина терминов и понятий, которые пересекаются и переплетаются друг с другом, но при этом они совершенно разные.
Вместе с экспертом мы разберёмся, в чём различие терминов, как стать Data Mining Specialist и как в этом развиваться.
Как Data Mining связана с Data Science?
Data Science — это широкая область знаний о данных, которая охватывает весь набор статистических методов, машинное обучение и программирование для извлечения ценной информации из данных. Data Science включает в себя Data mining в качестве одного из своих многочисленных методов.
Чем Data Mining Specialist отличается от Data Scientist?
Передадим слово эксперту.
Строго говоря, сейчас Data Mining — это ещё не совсем профессия. Мы наблюдаем её зарождение, она только-только начинает отсоединяться от Data Scientist.
Изначально «покопаться в сырых данных» приходили обычные аналитики. Потом аналитики данных. Потом подключились Data Scientists. Сейчас Data Mining потихоньку начинает выходить в отдельную профессию, но пока это ещё только довесок к Data Scientist — часть того, что они делают.
Если почитать вакансии обычных Data Scientist, часто в требованиях можно встретить Data Mining. Обычно пишут, что с помощью алгоритмов вы будете обрабатывать сырые данные и искать закономерности — это типичный Data Mining. А вакансия идёт как Data Scientist.
В российском сегменте пока не принято делить специалистов на Data Scientist и Data Mining. Любой Data Scientist должен уметь заниматься майнингом. Это основа основ. Это базис.
На практике требования Data Mining могут встречаться и в вакансиях аналитиков данных, и даже у Data Engineer. У каждой компании есть своё представление о том, чем должен заниматься тот или иной специалист. Но всё-таки, если хочется работать с Data Mining, стоит в первую очередь смотреть вакансии Data Scientist.
Вальд Александр
Наставник в Яндекс.Практикуме по курсу «Аналитика данных»
В чем отличие Data Mining от Big Data?
Определений Big Data очень много и до сих пор профессиональное сообщество не пришло к какому-то одному.
Но в целом Big Data — это большое количество структурированных, полуструктурированных и неструктурированных наборов данных. Data mining — это проникновение в эти данные для извлечения полезных знаний, информации, шаблонов.
Не бывает data mining без больших данных: если вы хотите использовать data mining, вам обязательно понадобится big data.
Где выучиться на эту профессию?
И снова отвечает эксперт.
Сейчас, чтобы работать с Data Mining, нужно обучиться на Data Scientist.
Традиционно обучение на Data Scientist проходит (в первую очередь) на примере data mining. Получается любой Data Mining Specialist — это Data Scientist, но при этом последние могут специализироваться на чём-то ещё.
Вузов, которые обучают конкретно этому, очень мало. И только вузовского образования может сильно не хватать для освоения профессии. Хорошей отправной точкой могут служить разнообразные курсы по Data Science. После курсов вы сможете претендовать на позицию Junior Data Scientist. Остальное придётся добирать самостоятельным опытом и самообразованием.
А ещё желательно:
- заполнять своё портфолио для начала пет-проектами — собственными разработками, которые удаётся пилить в свободное время;
- участвовать в соревнованиях Data Scientist на платформе Kaggle;
- пройти математический курс вузов для техспециальностей.
Вальд Александр
Наставник в Яндекс.Практикуме по курсу «Аналитика данных»
Какие навыки и знания нужно иметь для первоклассной карьеры Data Mining Specialist?
Специалист по data mining должен обладать сложным набором умений и навыков:
- Сильной математической подготовкой — без неё можно войти в профессию, но развиваться дальше не получится.
- Знанием хотя бы одного языка программирования — чаще всего это Python или R.
- Способностью работать с базами данных и языком SQL.
- Умением работать с библиотеками визуализации данных, например matplotlib и plotly.
- Опытом работы с алгоритмами машинного обучения.
- Сильными коммуникативными навыками — данные бесполезны, если их не объяснить и не передать должным образом.
Какие компании интересуются этими специалистами?
По сведениям Академии больших данных MADE от Mail.ru Group и hh.ru, три основные сферы занятости Data Scientists: ИТ (38% вакансий), финансы (29%), B2B (9%). Но в целом это тот же набор отраслей, о которых мы уже говорили.
Какая зарплата у Data Mining Specialist?
По данным ZipRecruiter и Indeed, в США средняя годовая зарплата специалиста, который занимается в основном data mining $40 000–$66 000. Опытный может заработать более $100 000, работая на технологических гигантов типа Microsoft.
В России data mining специалисты зарабатывают 50 000–180 000 рублей в месяц.
Заключение
Мы живем в мире данных. Объём данных, которые мы создаем, используем и храним, растёт страшными темпами. Ирония в том, что компании тонут в данных, но жаждут знаний.
Сейчас те, кто не умеет извлекать из океана собранной информации ценные практические знания, проигрывают в конкурентной борьбе. Уже неважно, чем занимается компания, — data mining сможет вывести её прибыль на новый уровень.
Следующие десятилетия важность аналитики будет только расти. Инструменты будут развиваться, чтобы раскрыть еще бо́льший потенциал информации. Это означает, что у data mining большое будущее.
Высоких вам конверсий!
