В информационной экономике данные - это процветающая валюта. Каждая компания стремится собрать огромный поток сырья, из которого формируются процессы сбора и анализа информации. Однако деконтекстуализированные цифры и факты встречаются повсюду без какой-либо рифмы или причины. Именно здесь на помощь приходит добыча данных.

Добыча данных - это набор процессов, позволяющих компаниям анализировать большие базы данных для получения полезной информации. Хотя основные задачи по добыче данных могут различаться в разных отделах, вся эта область полезна для многих секторов бизнеса. Эта бурно развивающаяся технология также получила значительное развитие за пределами компаний, которые внедряют ее в своих целях, а консультанты предлагают ее в качестве услуги.

Как естественное продолжение требований информационной эпохи, в последние годы его развитие как инструмента расширилось. Он получил распространение за пределами бизнеса, открыв такие области, как научный поиск данных для исследовательских целей. Давайте посмотрим, что он предлагает.

Добыча данных для бизнес-аналитики

Процессы интеллектуального анализа данных могут быть очень полезны для целого ряда различных видов деятельности. Однако сначала нужно понять, что добыча данных как концепция включает в себя множество методов. Вот некоторые из основных категорий и способы их применения в бизнесе.

• Классификация: Как следует из названия, это процесс получения данных и придания им определенных категорий для дальнейшего использования. Например, компания, торгующая модной одеждой, может сортировать свои товары на рубашки, футболки, нижнее белье и т. д. Это помогает им узнать больше о каждом покупателе.

• Кластеризация: Кластеризация похожа на предыдущую технику, но категории более общие. Например, розничные магазины могут кластеризовать свои данные на мужскую и женскую одежду. Далее следует факторный и кластерный анализ.

• Правила ассоциации: отслеживание закономерностей на основе связанных переменных. Для супермаркетов это может быть похоже на покупку двух продуктов, которые сочетаются друг с другом, например, макарон и сыра. Магазин будет знать, что делать с этими товарами, класть их ближе, выставлять на продажу вместе и т. д.

• Регрессионный анализЭто помогает в статистическом анализе и добыче данных, выявляя переменные, которые встречаются вместе. Она помогает определить вероятности, выявить взаимосвязь между двумя переменными. Пример: если увеличивается спрос на товар A, то увеличивается спрос на товар B.

• Обнаружение аномалий или выбросов: Здесь рассматриваются странные наборы данных среди обычных. Недостаточно выявить тенденцию, необходимо также исследовать среднее значение большинства тенденций. Он изучает выбросы и понимает, чем они вызваны. Например, наблюдается массовое увеличение числа мужчин, покупающих сладости, которые обычно покупают женщины. Можно ошибочно предположить, что это результат смещения постоянной тенденции, а можно признать, что сейчас февраль и День святого Валентина не за горами.

Добыча данных и анализ данных

Хотя добыча данных используется в аналитике данных, это не взаимозаменяемые термины. Добыча данных - это шаг, предшествующий аналитике. Речь идет об использовании структуры, позволяющей сделать данные пригодными для использования. Это процесс получения огромных массивов необработанных данных и придания им определенной структуры. Аналитика данных имеет правила и шаблоны, которым она следует, в то время как добыча данных не имеет (изначально) таких правил или уже существующих шаблонов.

Возьмем, к примеру, анализ данных в социальных сетях и анализ данных в социальных сетях. В первом случае сбор данных происходит массово. Данные часто хранятся в передовых хранилищах данных или извлекаются из них.

Бизнес-аналитика и предиктивная аналитика

Несмотря на то что предиктивная веб-аналитика сегодня в моде, компании могут превзойти ее с помощью горного анализа. Например, компания может создать лучшую аналитику данных о розничной торговле в Интернете, просмотрев каталоги с информацией о покупках в различных магазинах. Эту информацию можно классифицировать, чтобы создать набор прогнозируемых данных для онлайн-таргетинга и сегментации клиентов.

Использование предиктивной аналитики данных для привлечения клиентов - не новость. Такие учебные заведения, как Сиднейский университет, применяют их в самых разных целях. Это помогает в процедурах зачисления и даже в определении студентов с высокими шансами на предоставление школе целевого капитала. И наоборот, в анализе могут использоваться исследования, предварительно классифицированные в Google или Facebook, или аналитика на странице.

Некоторые из характеристик добычи данных, которые отличают ее от аналитики, таковы:

• Огромные объемы некатегоризированных данных.
• Структуры данных настолько сложны, что обычный статистический анализ невозможен
• Данные часто бывают зашумленными и неполными.
• Анализы, проводимые с помощью интеллектуального анализа данных, могут быть как прогностическими, так и описательными.

Примеры применения Data Mining в бизнесе

Существует множество применений этих процессов. Методы интеллектуального анализа данных и сегментации уже давно используются десятками компаний. Исследования показали, что их применение для многосегментного маркетинга и розничной торговли. Аналогичным образом, в анализе клиентов на основе больших данных часто используются многие из перечисленных здесь методов. Наиболее известны случаи, когда такие компании, как Cambridge Analytica, использовали их для проведения противоречивых избирательных кампаний.

Маркетинг с помощью кластерного анализа часто опирается на такого рода данные, и без категоризации, которую обеспечивает горный анализ, это может быть очень сложно. Вместе эти процессы формируют ряд передовых методов сегментации рынка на стороне потребителя, чтобы найти больше покупателей. Они могут даже обладать прогностическими способностями в плане анализа данных о приобретении клиентов и выявления желательных моделей поведения.

Процедуры майнинга также могут помочь придать форму неструктурированной статистике благодаря быстрому поиску точек данных. Сбор данных в режиме реального времени может дать вам в руки множество цифр. Однако, осмыслив часть этих данных, можно усовершенствовать процесс по мере его выполнения.

Таким же образом создание кластеров для данных, полученных через социальные сети, поможет вам при необходимости отслеживать больше похожих данных или проводить прогнозный анализ. Это может быть предпочтительнее, чем получение случайных данных, если вы ищете конкретные переменные, целевые группы или модели поведения.

Еще одним способом использования этих методов является тестирование бизнес-аналитики. Поиск данных - это первый шаг к проверке гипотез о конкурентах и организации "военных игр" для определения лучших практик борьбы с конкурентами или создания эффективные персоны покупателей.

Решения для сбора данных

Вот несколько программ для обработки данных и краткая информация о том, в каких областях они преуспели:

DataMelt полезен для вычисления цифр. В нем есть программы для математики, статистики, расчетов, анализа данных и визуализации. ELKI Фреймворк же в большей степени ориентирован на алгоритмы, предлагая отличные системы для кластерного анализа. ELKI также более удобен для исследователей, студентов и коммерческих организаций.

Добыча данных из апельсинов помогает организациям выполнять простой анализ данных и использовать лучшие визуализации и графики. Отлично подходит для создания тепловых карт, иерархической кластеризации, деревьев решений. Графический интерфейс Rattle Работает со статистическими и визуальными сводками данных, подготавливает их к моделированию, а затем использует операции машинного обучения для представления информации.