Большие данные (Big Data)

Большие данные (Big Data) — это массивы структурированной и неструктурированной информации такого объема, разнообразия и скорости изменения, что для их хранения, обработки и анализа требуются специальные масштабируемые технологии.

Проще говоря, Big Data — это не просто «очень много информации». Это данные, с которыми обычных баз данных и традиционных способов обработки уже недостаточно: информацию приходится автоматически собирать из разных источников, объединять, быстро анализировать и находить в ней закономерности.

Например, к большим данным могут относиться миллионы операций клиентов банка, история покупок пользователей маркетплейса, геоданные транспорта, сведения с промышленных датчиков, поисковые запросы, логи сайтов и приложений или данные о ценах на товары.

В российском ГОСТ Р ИСО/МЭК 20546-2021 большие данные определяются через объем, разнообразие, скорость обработки и вариативность массивов, для работы с которыми необходимы технологии масштабирования. Такой подход используется и Росстатом.

Основные признаки больших данных

Обычно Big Data описывают через несколько характеристик — так называемую модель V.

Volume — объем.
Данных настолько много, что их обработка требует распределенных хранилищ, вычислительных мощностей и специализированного программного обеспечения.

Velocity — скорость.
Информация постоянно поступает и обновляется. Иногда данные необходимо анализировать практически в реальном времени — например, при выявлении мошеннических банковских операций.

Variety — разнообразие.
Big Data может включать таблицы и документы, изображения, видео, аудио, сообщения, координаты, данные датчиков, журналы действий пользователей и другие форматы.

Variability — изменчивость.
Структура, содержание и интенсивность поступления данных могут меняться, поэтому система должна уметь адаптироваться к таким изменениям.

На практике также часто говорят о Veracity — достоверности данных и Value — ценности, которую можно получить в результате их анализа.

При этом конкретного универсального порога, после которого данные становятся «большими», нет. Например, в отдельных указаниях Росстата для целей статистического наблюдения массивами больших данных считаются массивы более 100 ТБ, но этот показатель применяется именно для соответствующей статистической формы и не является общим юридическим определением Big Data.

Откуда берутся большие данные

Источниками Big Data могут быть:

• сайты, приложения и цифровые платформы;
• интернет-магазины и маркетплейсы;
• CRM-, ERP- и другие корпоративные системы;
• банковские и платежные операции;
• мобильные устройства;
• системы видеонаблюдения;
• социальные сети;
• поисковые системы;
• GPS и геолокационные сервисы;
• промышленное оборудование и устройства интернета вещей;
• государственные информационные системы;
• датчики автомобилей, транспорта, оборудования и объектов инфраструктуры.

Главная особенность заключается в том, что данные из разных источников можно объединять и анализировать вместе.

Для чего используют Big Data

Большие данные позволяют находить закономерности, которые сложно увидеть при анализе отдельных документов или небольших баз данных.

Например, компании используют Big Data, чтобы:

• прогнозировать спрос и продажи;
• анализировать поведение покупателей;
• персонализировать предложения;
• выявлять мошеннические операции;
• оценивать кредитные и иные риски;
• оптимизировать логистику;
• прогнозировать поломки оборудования;
• анализировать цены;
• обучать модели искусственного интеллекта;
• автоматизировать принятие решений.

Big Data применяется и государством. Например, Росстат предусматривает использование больших данных наряду с административными и традиционно собираемыми данными при наблюдении за потребительскими ценами.

Чем Big Data отличается от обычной базы данных

База данных — это способ организованного хранения информации.

Big Data — более широкое понятие. Оно охватывает не только сами массивы информации, но и подходы и технологии, необходимые для их сбора, хранения, объединения и анализа.

Например, таблица с десятью тысячами клиентов компании — обычный массив данных. А постоянный анализ миллионов покупок, действий пользователей сайта, поисковых запросов, геолокации и истории взаимодействия с сервисом может относиться к Big Data.

При этом большой размер файла сам по себе еще не делает данные Big Data. Значение имеют одновременно объем, сложность, скорость поступления информации и необходимость использовать масштабируемые технологии обработки.

Big Data и обезличенные данные

При работе с большими массивами персональной информации компании часто используют обезличивание.

Обезличивание персональных данных — действия, после которых без дополнительной информации становится невозможно определить, какому конкретному человеку принадлежат данные.

Но обезличивание не следует понимать как автоматическое снятие всех требований законодательства о персональных данных. При использовании обезличенных массивов важно проверять не только то, удалены ли имя и номер телефона, но и можно ли определить человека по совокупности других признаков.

Например, комбинация точного местоположения, времени, возраста, истории действий и идентификатора устройства иногда позволяет повторно выделить конкретного пользователя даже без его ФИО.

Какие юридические риски возникают при работе с Big Data

У Big Data нет единого самостоятельного правового режима: применимые требования зависят от того, какая именно информация находится внутри массива, откуда она получена и как компания ее использует.

Юристу необходимо проверить:

Персональные данные.
Есть ли в массиве сведения об определяемых физических лицах и имеется ли законное основание для их обработки.

Цель обработки.
Нельзя собирать персональные данные без определенной цели или использовать их способом, несовместимым с первоначальной целью обработки.

Обезличивание.
Действительно ли примененный метод исключает возможность установить принадлежность сведений конкретному человеку в предусмотренных законом условиях.

Конфиденциальная информация.
В Big Data могут попадать коммерческая, банковская, медицинская, налоговая и другие виды охраняемой законом тайны.

Права на данные и контент.
Нужно учитывать права на базы данных, программное обеспечение, фотографии, тексты и другие результаты интеллектуальной деятельности.

Передача третьим лицам.
Необходимо проверить договорные и законодательные основания для предоставления данных подрядчикам, партнерам и другим организациям.

Информационная безопасность.
Чем больше массив информации и чем больше источников в нем объединено, тем выше потенциальный ущерб при утечке или неправомерном доступе.

Главное: Big Data — это прежде всего характеристика масштаба и технологии обработки информации, а не отдельный вид данных с единым правовым режимом. Для бизнеса юридическое значение имеет не название «Big Data», а то, какие сведения находятся внутри массива, каким способом они были получены и для каких целей используются.