Большое количество данных - Big data - Wikipedia

Эта статья может содержать чрезмерное количество цитирований. Пожалуйста примите к сведению удаление ссылок на ненужные или сомнительные источники, объединение цитат где возможно, или, если необходимо, пометить контент для удаления. В частности, многие ссылки здесь "спамят" в рекламных целях. Их нужно удалить.. (Ноябрь 2019) (Узнайте, как и когда удалить этот шаблон сообщения)

Рост и оцифровка глобальной емкости хранения информации^[1]

Большое количество данных это область, которая рассматривает способы анализа, систематического извлечения информации из или иного решения наборы данных слишком большие или сложные, чтобы их можно было решить с помощью традиционных обработка данных программное обеспечение. Данные с большим количеством наблюдений (строк) предлагают больше статистическая мощность, в то время как данные с более высокой сложностью (больше атрибутов или столбцов) могут привести к более высокому коэффициент ложного обнаружения.^[2] Проблемы с большими данными включают сбор данных, хранилище данных, анализ данных, поиск, обмен, передача, визуализация, запрос, обновление, конфиденциальность информации и источник данных. Первоначально большие данные были связаны с тремя ключевыми понятиями: объем, разнообразие, и скорость. Когда мы обрабатываем большие данные, мы можем не брать выборку, а просто наблюдать и отслеживать, что происходит. Поэтому большие данные часто включают данные, размеры которых превышают возможности традиционного программного обеспечения для обработки в приемлемое время и ценить.

Текущее использование термина большое количество данных имеет тенденцию относиться к использованию прогнозная аналитика, аналитика поведения пользователей или некоторые другие методы расширенного анализа данных, которые извлекают ценить от данных, и редко до определенного размера набора данных. «Нет никаких сомнений в том, что объем доступных сейчас данных действительно велик, но это не самая важная характеристика этой новой экосистемы данных».^[3]Анализ наборов данных может найти новые корреляции для «выявления тенденций в бизнесе, предотвращения болезней, борьбы с преступностью и так далее».^[4] Ученые, руководители предприятий, практикующие врачи, реклама и правительства одинаково регулярно сталкиваются с трудностями с большими наборами данных в областях, включая Поиск в Интернете, финтех, городская информатика и бизнес-информатика. Ученые сталкиваются с ограничениями в электронная наука работа, в том числе метеорология, геномика,^[5] коннектомика, комплексное физическое моделирование, биология и исследования окружающей среды.^[6]

Наборы данных быстро растут, в определенной степени потому, что они все чаще собираются дешевыми и многочисленными методами сбора информации. Интернет вещей такие устройства, как мобильные устройства, антенна (дистанционное зондирование ), журналы программного обеспечения, камеры, микрофоны, определение радиочастоты (RFID) считыватели и беспроводные сенсорные сети.^[7][8] Технологические возможности хранения информации на душу населения в мире примерно удваивались каждые 40 месяцев с 1980-х годов;^[9] по состоянию на 2012 год^{[Обновить]}, ежедневно 2,5 эксабайты (2.5×2⁶⁰ байтов) данных.^[10] На основании IDC прогнозировалось, что глобальный объем данных будет экспоненциально расти с 4,4 зеттабайты до 44 зеттабайт в период с 2013 по 2020 год. По прогнозам IDC, к 2025 году объем данных будет составлять 163 зеттабайта.^[11] Один из вопросов для крупных предприятий - определить, кто должен владеть инициативами в области больших данных, которые влияют на всю организацию.^[12]

Системы управления реляционными базами данных, рабочий стол статистика^{[требуется разъяснение ]} а программные пакеты, используемые для визуализации данных, часто испытывают трудности с обработкой больших данных. Для работы может потребоваться «массово параллельное программное обеспечение, работающее на десятках, сотнях или даже тысячах серверов».^[13] То, что квалифицируется как «большие данные», зависит от возможностей пользователей и их инструментов, а расширение возможностей делает большие данные постоянно меняющейся целью. "Некоторые организации сталкиваются с сотнями гигабайты данных впервые может вызвать необходимость пересмотреть варианты управления данными. Для других могут потребоваться десятки или сотни терабайт, прежде чем размер данных станет существенным фактором ".^[14]

Определение

Этот термин используется с 1990-х годов, при этом некоторые считают, что Джон Маши для популяризации термина.^[15][16]Большие данные обычно включают в себя наборы данных, размеры которых превышают возможности широко используемых программных инструментов. захватывать, священник, управлять и обрабатывать данные в течение приемлемого времени.^[17] Философия больших данных охватывает неструктурированные, полуструктурированные и структурированные данные, однако основное внимание уделяется неструктурированным данным.^[18] «Размер» больших данных - постоянно меняющаяся цель, по состоянию на 2012 г.^{[Обновить]} от нескольких десятков терабайт до многих зеттабайты данных.^[19]Большие данные требуют набора техник и технологий с новыми формами интеграция чтобы раскрыть идеи из наборы данных разнообразны, сложны и масштабны.^[20]

«Разнообразие», «правдивость» и другие различные «V» добавляются некоторыми организациями для его описания, и это пересмотр оспаривается некоторыми отраслевыми властями.^[21]

Определение 2018 года гласит: «Большие данные - это то, где необходимы инструменты параллельных вычислений для обработки данных», и отмечает: «Это представляет собой отчетливое и четко определенное изменение в используемой компьютерной науке с помощью теорий параллельного программирования и потери некоторых гарантий и возможностей. сделан Реляционная модель Кодда."^[22]

Растущая зрелость концепции более четко определяет разницу между "большими данными" и "Бизнес-аналитика ":^[23]

• Business Intelligence использует инструменты прикладной математики и описательная статистика с данными с высокой плотностью информации для измерения вещей, выявления тенденций и т. д.
• Большие данные используют математический анализ, оптимизацию, индуктивная статистика и концепции из идентификация нелинейных систем^[24] выводить законы (регрессии, нелинейные отношения и причинно-следственные связи) из больших наборов данных с низкой плотностью информации^[25] для выявления отношений и зависимостей или для прогнозирования результатов и поведения.^{[24][26][рекламный источник? ]}

Характеристики

Показывает рост основных характеристик больших данных - объема, скорости и разнообразия.

Большие данные можно описать следующими характеристиками:

Объем

Количество сгенерированных и сохраненных данных. Размер данных определяет ценность и потенциальное понимание, а также то, можно ли их считать большими данными или нет. Размер больших данных обычно превышает терабайты и петабайты.^[27]

Разнообразие

Тип и характер данных. Ранние технологии, такие как СУБД, были способны эффективно и действенно обрабатывать структурированные данные. Однако изменение типа и характера от структурированного к полуструктурированному или неструктурированному поставило под вопрос существующие инструменты и технологии. Технологии больших данных развивались с основной целью собирать, хранить и обрабатывать полуструктурированные и неструктурированные (разнообразные) данные, генерируемые с высокой скоростью (скорость) и огромными по размеру (объему). Позже эти инструменты и технологии были исследованы и использованы для обработки структурированных данных, но предпочтительнее для хранения. В конце концов, обработка структурированных данных по-прежнему оставалась необязательной, либо с использованием больших данных, либо с использованием традиционных СУБД. Это помогает в анализе данных с целью эффективного использования скрытых идей, полученных из данных, собранных через социальные сети, файлы журналов, датчики и т. Д. Большие данные извлекаются из текста, изображений, аудио, видео; плюс он восполняет недостающие части через слияние данных.

Скорость

Скорость, с которой данные генерируются и обрабатываются, чтобы соответствовать требованиям и задачам, стоящим на пути роста и развития. Большие данные часто доступны в режиме реального времени. В сравнении с небольшие данные, большие данные производятся постоянно. Два типа скорости, связанные с большими данными, - это частота генерации и частота обработки, записи и публикации.^[28]

Достоверность

Это расширенное определение больших данных, которое относится к качеству данных и их ценности.^[29] В Качество данных Количество собранных данных может сильно различаться, что влияет на точность анализа.^[30]

Другими важными характеристиками больших данных являются:^[31]

Исчерпывающий

Была ли вся система (т.е. ${ textstyle n}$= все) захвачено или записано или нет.

Мелкозернистый и уникально лексический

Соответственно, доля конкретных данных каждого элемента в каждом собранном элементе и правильность индексации или идентификации элемента и его характеристик.

Реляционный

Если собранные данные содержат общие поля, которые позволят объединить или метаанализ различных наборов данных.

Экстенсиональный

Если новые поля в каждом элементе собранных данных можно легко добавить или изменить.

Масштабируемость

Если размер данных может быстро увеличиваться.

Ценить

Утилита, которую можно извлечь из данных.

Изменчивость

Это относится к данным, значение или другие характеристики которых меняются в зависимости от контекста, в котором они создаются.

Архитектура

Репозитории больших данных существовали во многих формах, часто создаваемые корпорациями с особыми потребностями. Коммерческие поставщики исторически предлагали параллельные системы управления базами данных для больших данных, начиная с 1990-х годов. За много лет WinterCorp опубликовала самый крупный отчет по базе данных.^{[32][рекламный источник? ]}

Терадата Корпорация в 1984 г. начала продавать параллельную обработку DBC 1012 система. Системы Teradata были первыми, кто в 1992 году сохранил и проанализировал 1 терабайт данных. В 1991 году объем жестких дисков составлял 2,5 ГБ, поэтому определение больших данных постоянно развивается в соответствии с Закон Крайдера. Компания Teradata установила первую систему на основе РСУБД петабайтного класса в 2007 году. По состоянию на 2017 год.^{[Обновить]}, установлено несколько десятков реляционных баз данных Teradata петабайтного класса, самая большая из которых превышает 50 ПБ. До 2008 года системы были на 100% структурированными реляционными данными. С тех пор Teradata добавила неструктурированные типы данных, включая XML, JSON, и Avro.

В 2000 году Seisint Inc. (ныне Решения рисков LexisNexis ) разработал C ++ распределенная платформа для обработки данных и запросов, известная как Системы HPCC Платформа. Эта система автоматически разделяет, распределяет, хранит и доставляет структурированные, полуструктурированные и неструктурированные данные на несколько стандартных серверов. Пользователи могут писать конвейеры обработки данных и запросы на декларативном языке программирования потоков данных, называемом ECL. Аналитики данных, работающие в ECL, не обязаны заранее определять схемы данных и могут скорее сосредоточиться на конкретной проблеме, изменяя данные наилучшим образом по мере разработки решения. В 2004 году LexisNexis приобрела Seisint Inc.^[33] и их платформу высокоскоростной параллельной обработки и успешно использовали эту платформу для интеграции систем данных Choicepoint Inc., когда они приобрели эту компанию в 2008 году.^[34] В 2011 году системная платформа HPCC была открыта по лицензии Apache v2.0.

ЦЕРН и другие физические эксперименты собирали большие наборы данных за многие десятилетия, обычно анализируемые с помощью высокопроизводительные вычисления а не архитектур с уменьшением карты, обычно подразумеваемой нынешним движением «больших данных».

В 2004 г. Google опубликовал статью о процессе под названием Уменьшение карты который использует аналогичную архитектуру. Концепция MapReduce предоставляет модель параллельной обработки, и была выпущена соответствующая реализация для обработки огромных объемов данных. С помощью MapReduce запросы разделяются и распределяются по параллельным узлам и обрабатываются параллельно (этап Map). Затем результаты собираются и доставляются (этап уменьшения). Фреймворк оказался очень удачным,^[35] поэтому другие хотели воспроизвести алгоритм. Следовательно, выполнение платформы MapReduce был принят проектом с открытым исходным кодом Apache под названием Hadoop.^[36] Apache Spark был разработан в 2012 году в ответ на ограничения парадигмы MapReduce, поскольку он добавляет возможность настраивать множество операций (а не только сопоставление с последующим сокращением).

MIKE2.0 - это открытый подход к управлению информацией, который признает необходимость внесения изменений в связи с последствиями для больших данных, указанными в статье под названием «Предложение решений для больших данных».^[37] Методология рассматривает обработку больших данных с точки зрения полезной перестановки источников данных, сложность во взаимоотношениях и трудности с удалением (или изменением) отдельных записей.^[38]

Исследования 2012 года показали, что многоуровневая архитектура - это один из вариантов решения проблем, связанных с большими данными. А распределенный параллельный архитектура распределяет данные по множеству серверов; Эти среды параллельного выполнения могут значительно повысить скорость обработки данных. Этот тип архитектуры вставляет данные в параллельную СУБД, в которой реализовано использование фреймворков MapReduce и Hadoop. Этот тип инфраструктуры стремится сделать вычислительную мощность прозрачной для конечного пользователя за счет использования внешнего сервера приложений.^[39]

В озеро данных позволяет организации сместить фокус с централизованного управления на общую модель, чтобы реагировать на меняющуюся динамику управления информацией. Это позволяет быстро разделить данные в озеро данных, тем самым сокращая накладные расходы.^[40][41]

Технологии

2011 год Глобальный институт McKinsey Отчет характеризует основные компоненты и экосистему больших данных следующим образом:^[42]

• Методы анализа данных, такие как A / B тестирование, машинное обучение и обработка естественного языка
• Технологии больших данных, например бизнес-аналитика, облачные вычисления и базы данных
• Визуализация, например диаграммы, графики и другие виды отображения данных

Многомерные большие данные также могут быть представлены как OLAP кубы данных или, математически, тензоры. Системы баз данных с массивами решили предоставить хранилище и поддержку запросов высокого уровня для этого типа данных. Дополнительные технологии, применяемые к большим данным, включают эффективные вычисления на основе тензоров,^[43] Такие как полилинейное подпространственное обучение.,^[44] массовая параллельная обработка (MPP ) базы данных, поисковые приложения, сбор данных,^[45] распределенные файловые системы, распределенный кеш (например, пакетный буфер и Memcached ), распределенные базы данных, облако и На основе HPC инфраструктура (приложения, хранилища и вычислительные ресурсы)^[46] и Интернет.^{[нужна цитата ]} Несмотря на то, что было разработано много подходов и технологий, по-прежнему сложно проводить машинное обучение с большими данными.^[47]

Немного MPP реляционные базы данных могут хранить петабайты данных и управлять ими. Подразумевается возможность загружать, отслеживать, создавать резервные копии и оптимизировать использование больших таблиц данных в СУБД.^{[48][рекламный источник? ]}

DARPA с Топологический анализ данных Программа ищет фундаментальную структуру массивных наборов данных, и в 2008 году технология стала публичной с запуском компании под названием Аясди.^{[49][требуется сторонний источник ]}

Практики процессов аналитики больших данных обычно враждебно относятся к более медленному общему хранилищу,^[50] предпочитая хранилище с прямым подключением (DAS ) в различных формах с твердотельного накопителя (SSD ) на большую мощность SATA диск похоронен внутри узлов параллельной обработки. Восприятие архитектур совместно используемых хранилищ—Сеть хранения данных (SAN) и Network Attached Storage (NAS) - они относительно медленные, сложные и дорогие. Эти качества несовместимы с системами анализа больших данных, которые процветают за счет производительности системы, стандартной инфраструктуры и низкой стоимости.

Доставка информации в реальном времени или почти в реальном времени - одна из определяющих характеристик аналитики больших данных. Таким образом, по возможности избегают задержек. Данные в памяти с прямым подключением или на диске в порядке - данные в памяти или на диске на другом конце FC SAN подключение нет. Стоимость SAN в масштабе, необходимом для приложений аналитики, намного выше, чем у других методов хранения.

У общего хранилища есть как преимущества, так и недостатки в аналитике больших данных, но специалисты по аналитике больших данных по состоянию на 2011 г.^{[Обновить]} не одобрял это.^{[51][рекламный источник? ]}

Приложения

Автобус обернут SAP Большие данные припаркованы снаружи IDF13.

Большие данные настолько увеличили потребность в специалистах по управлению информацией, что Software AG, Корпорация Oracle, IBM, Microsoft, SAP, ЭМС, HP и Dell потратили более 15 миллиардов долларов на софтверные компании, специализирующиеся на управлении данными и аналитике. В 2010 году эта отрасль стоила более 100 миллиардов долларов и росла почти на 10 процентов в год: примерно в два раза быстрее, чем бизнес программного обеспечения в целом.^[4]

Развитые страны все чаще используют технологии, требующие обработки больших объемов данных. В мире насчитывается 4,6 миллиарда абонентов мобильных телефонов, и от 1 до 2 миллиардов человек имеют доступ к Интернету.^[4] Между 1990 и 2005 годами более 1 миллиарда человек во всем мире вошли в средний класс, что означает, что больше людей стали более грамотными, что, в свою очередь, привело к росту информации. Эффективная способность мира по обмену информацией через телекоммуникационные сети составляет 281 петабайты в 1986 г. - 471 петабайты в 1993 г. - 2,2 эксабайта в 2000 г. - 65 эксабайты в 2007^[9] Согласно прогнозам, к 2014 году объем интернет-трафика составит 667 эксабайт в год.^[4] Согласно одной оценке, одна треть глобально хранимой информации находится в форме буквенно-цифрового текста и данных неподвижных изображений,^[52] который является наиболее полезным для большинства приложений с большими данными. Это также показывает потенциал еще неиспользованных данных (то есть в форме видео- и аудиоконтента).

Хотя многие поставщики предлагают готовые решения для больших данных, эксперты рекомендуют разрабатывать собственные решения, специально адаптированные для решения текущей проблемы компании, если компания обладает достаточными техническими возможностями.^[53]

Правительство

Использование и принятие больших данных в государственных процессах позволяет повысить эффективность с точки зрения затрат, производительности и инноваций.^[54] но не без недостатков. Анализ данных часто требует, чтобы несколько частей правительства (центрального и местного) работали в сотрудничестве и создавали новые инновационные процессы для достижения желаемого результата.

CRVS (регистрация актов гражданского состояния и естественного движения населения ) собирает все свидетельства о статусе от рождения до смерти. CRVS - это источник больших данных для правительств.

Международная разработка

Исследования по эффективному использованию информационных и коммуникационных технологий в целях развития (также известные как ICT4D) показывают, что технологии больших данных могут внести важный вклад, но также создают уникальные проблемы для Международная разработка.^[55][56] Достижения в области анализа больших данных открывают рентабельные возможности для улучшения принятия решений в важнейших областях развития, таких как здравоохранение, занятость, экономическая производительность, преступность, безопасность и природная катастрофа и управление ресурсами.^[57][58][59] Кроме того, данные, создаваемые пользователями, открывают новые возможности для передачи голоса неслышимому.^[60] Однако давние проблемы для развивающихся регионов, такие как неадекватная технологическая инфраструктура и нехватка экономических и человеческих ресурсов, усугубляют существующие проблемы с большими данными, такие как конфиденциальность, несовершенная методология и проблемы взаимодействия.^[57]

Здравоохранение

Аналитика больших данных помогла улучшить здравоохранение, предоставляя персонализированную медицину и предписывающую аналитику, вмешательство в клинические риски и прогнозную аналитику, сокращение потерь и вариативности медицинской помощи, автоматизированную внешнюю и внутреннюю отчетность по данным пациентов, стандартизированные медицинские термины и реестры пациентов, а также фрагментированные точечные решения.^{[61][62][63][64]} Некоторые области улучшений более желательны, чем реализованы на самом деле. Уровень данных, генерируемых в системы здравоохранения нетривиально. С появлением мобильного здравоохранения, электронного здравоохранения и носимых технологий объем данных будет продолжать расти. Это включает в себя электронная медицинская карта данные, данные изображений, данные пациентов, данные датчиков и другие формы трудно обрабатываемых данных. В настоящее время существует еще большая потребность в таких средах, чтобы уделять больше внимания качеству данных и информации.^[65] «Большие данные очень часто означают»грязные данные 'и доля неточностей в данных увеличивается с ростом объема данных. "Человеческий контроль в масштабе больших данных невозможен, и службы здравоохранения остро нуждаются в интеллектуальных инструментах для контроля точности и достоверности, а также обработки пропущенной информации.^[66] Хотя обширная информация в сфере здравоохранения теперь представлена ​​в электронном виде, она подходит под зонтик больших данных, поскольку большая часть информации неструктурирована и трудна в использовании.^[67] Использование больших данных в здравоохранении вызвало серьезные этические проблемы, начиная от рисков для прав личности, конфиденциальности и автономия, к прозрачности и доверию.^[68]

Большие данные в исследованиях в области здравоохранения особенно перспективны с точки зрения исследовательских биомедицинских исследований, поскольку анализ на основе данных может продвигаться вперед быстрее, чем исследования, основанные на гипотезах.^[69] Затем тенденции, наблюдаемые при анализе данных, можно проверить в традиционных последующих биологических исследованиях, основанных на гипотезах, и, в конечном итоге, в клинических исследованиях.

Связанная подобласть приложений, которая в значительной степени полагается на большие данные в области здравоохранения, - это область компьютерная диагностика в медицине.^[70] Достаточно вспомнить, что, например, для эпилепсия мониторинг принято создавать от 5 до 10 ГБ данных ежедневно. ^[71] Точно так же одно несжатое изображение груди томосинтез в среднем 450 МБ данных. ^[72]Это лишь некоторые из множества примеров, когда компьютерная диагностика использует большие данные. По этой причине большие данные были признаны одной из семи ключевых проблем, которые компьютерная диагностика системы необходимо преодолеть, чтобы достичь следующего уровня производительности. ^[73]

Образование

А Глобальный институт McKinsey исследование выявило нехватку 1,5 млн высококвалифицированных специалистов и менеджеров по обработке данных^[42] и ряд университетов^{[74][нужен лучший источник ]} включая Университет Теннесси и Калифорнийский университет в Беркли, создали магистерские программы для удовлетворения этого спроса. Частные учебные лагеря также разработали программы для удовлетворения этого спроса, включая бесплатные программы, такие как Инкубатор данных или платные программы, такие как Генеральная Ассамблея.^[75] В конкретной области маркетинга одна из проблем, подчеркнутая Веделем и Каннаном.^[76] состоит в том, что у маркетинга есть несколько поддоменов (например, реклама, продвижение, разработка продуктов, брендинг), которые используют разные типы данных. Поскольку универсальные аналитические решения нежелательны, бизнес-школы должны готовить менеджеров по маркетингу к тому, чтобы они обладали обширными знаниями обо всех различных методах, используемых в этих поддоменах, чтобы получить общую картину и эффективно работать с аналитиками.

Средства массовой информации

Чтобы понять, как СМИ используют большие данные, сначала необходимо предоставить некоторый контекст в механизме, используемом для медиа-процесса. Ник Кулдри и Джозеф Туроу предположили, что практикующие в СМИ и рекламе рассматривают большие данные как множество действенных точек информации о миллионах людей. Похоже, что отрасль отходит от традиционного подхода к использованию конкретных средств массовой информации, таких как газеты, журналы или телешоу, и вместо этого обращается к потребителям с помощью технологий, которые достигают целевой аудитории в оптимальное время в оптимальных местах. Конечная цель состоит в том, чтобы служить или передать сообщение или контент, который (с точки зрения статистики) соответствует мышлению потребителя. Например, издательская среда все чаще адаптирует сообщения (рекламные объявления) и контент (статьи) для обращения к потребителям, которые были получены исключительно с помощью различных сбор данных виды деятельности.^[77]

• Таргетинг на потребителей (для рекламы маркетологов)^[78]
• Сбор данных
• Журналистика данных: издатели и журналисты используют инструменты больших данных, чтобы предоставлять уникальные и инновационные идеи и инфографика.

Канал 4, британский Государственная служба телевещательная компания, является лидером в области больших данных и анализ данных.^[79]

Страхование

Поставщики медицинского страхования собирают данные о социальных «детерминантах здоровья», таких как продукты питания и Потребление ТВ, семейное положение, размер одежды и покупательские привычки, на основании которых они делают прогнозы относительно затрат на здоровье, чтобы выявлять проблемы со здоровьем у своих клиентов. Спорный вопрос, используются ли эти прогнозы в настоящее время для ценообразования.^[80]

Интернет вещей (IoT)

Большие данные и Интернет вещей работают вместе. Данные, извлеченные из устройств IoT, обеспечивают отображение взаимосвязи устройств. Такие сопоставления использовались медиаиндустрией, компаниями и правительствами для более точного нацеливания на свою аудиторию и повышения эффективности СМИ. Интернет вещей также все чаще используется как средство сбора сенсорных данных, и эти сенсорные данные используются в медицине,^[81] производство^[82] и транспорт^[83] контексты.

Кевин Эштон, эксперт в области цифровых инноваций, которому приписывают создание этого термина,^[84] определяет Интернет вещей в этой цитате: «Если бы у нас были компьютеры, которые знали все, что нужно знать о вещах - используя данные, которые они собирали без какой-либо нашей помощи, - мы могли бы отслеживать и подсчитывать все и значительно сокращать потери, потери , и стоимость. Мы бы знали, когда что-то нужно было заменить, отремонтировать или отозвать, и были ли они свежими или устаревшими ».

Информационные технологии

Особенно с 2015 года большие данные стали популярными в деловые операции как инструмент, помогающий сотрудникам работать более эффективно и оптимизировать сбор и распространение информационные технологии (ЭТО). Использование больших данных для решения проблем ИТ и сбора данных на предприятии называется Аналитика ИТ-операций (ITOA).^[85] Применяя принципы больших данных к концепциям машинный интеллект и глубокие вычисления, ИТ-отделы могут прогнозировать потенциальные проблемы и предлагать решения еще до того, как они возникнут.^[85] В это время предприятия ITOA также начали играть важную роль в управление системами предлагая платформы, которые помогли разрозненные хранилища данных вместе и генерировали понимание всей системы, а не отдельных участков данных.

Тематические исследования

Правительство

Китай

• Платформа интегрированных совместных операций (IJOP, 一体化 联合 作战 平台) используется правительством для мониторинга населения, в частности Уйгуры.^[86] Биометрия, включая образцы ДНК, собираются с помощью программы бесплатных медицинских осмотров.^[87]
• К 2020 году Китай планирует присвоить всем своим гражданам личную оценку «Социальный кредит», основанную на их поведении.^[88] В Система социального кредита, теперь пилотируемый в ряде китайских городов, считается формой масса наблюдения который использует технологию анализа больших данных.^[89][90]

Индия

• Анализ больших данных был опробован на BJP победить на всеобщих выборах в Индии в 2014 году.^[91]
• В Индийское правительство использует многочисленные методы, чтобы выяснить, как индийский электорат реагирует на действия правительства, а также идеи для усиления политики.

Израиль

• С помощью решения GlucoMe для работы с большими данными можно создать индивидуальные методы лечения диабета.^[92]

объединенное Королевство

Примеры использования больших данных в государственных услугах:

• Данные о лекарствах, отпускаемых по рецепту: связав происхождение, местонахождение и время выписки каждого рецепта, исследовательское подразделение смогло продемонстрировать значительную задержку между выпуском любого конкретного лекарства и адаптацией стандарта в масштабах всей Великобритании. Национальный институт здравоохранения и передового опыта руководящие указания. Это говорит о том, что новым или самым современным лекарствам требуется некоторое время, чтобы проникнуть к пациенту в целом.^[93]
• Объединение данных: местный орган власти смешанные данные об услугах, таких как ротация дорожного покрытия, с услугами для людей из группы риска, например, «еда на колесах». Подключение данных позволило местным властям избежать любых задержек, связанных с погодными условиями.^[94]

Соединенные Штаты Америки

• В 2012 г. Администрация Обамы объявила об Инициативе по исследованиям и развитию больших данных, чтобы изучить, как большие данные могут быть использованы для решения важных проблем, с которыми сталкивается правительство.^[95] Инициатива состоит из 84 различных программ больших данных, распределенных по шести департаментам.^[96]
• Анализ больших данных сыграл большую роль в Барак Обама успешный Избирательная кампания 2012 г..^[97]
• В Федеральное правительство США владеет пятью из десяти самых могущественных суперкомпьютеры в мире.^[98][99]
• В Дата-центр Юты был построен в Соединенных Штатах Национальное Агенство Безопасности. По завершении объект сможет обрабатывать большой объем информации, собранной АНБ через Интернет. Точный объем дискового пространства неизвестен, но более свежие источники утверждают, что его будет порядка нескольких эксабайты.^{[100][101][102]} Это вызвало проблемы с безопасностью в отношении анонимности собранных данных.^[103]

Розничная торговля

• Walmart обрабатывает более 1 миллиона клиентских транзакций каждый час, которые импортируются в базы данных, которые, по оценкам, содержат более 2,5 петабайт (2560 терабайт) данных, что в 167 раз больше информации, содержащейся во всех книгах в США. Библиотека Конгресса.^[4]
• Недвижимость в Уиндермире использует информацию о местоположении от почти 100 миллионов водителей, чтобы помочь покупателям нового жилья определить типичное время в пути на работу и с работы в разное время дня.^[104]
• Система обнаружения карт FICO защищает счета по всему миру.^[105]

Наука

• В Большой адронный коллайдер эксперименты представляют собой около 150 миллионов датчиков, передающих данные 40 миллионов раз в секунду. В секунду происходит около 600 миллионов столкновений. После фильтрации и отказа от записи более 99,99995%^[106] из этих потоков происходит 1000 интересных столкновений в секунду.^{[107][108][109]}
  • В результате, работая только с менее чем 0,001% данных потока сенсора, поток данных из всех четырех экспериментов LHC составляет 25 петабайт в год до репликации (по состоянию на 2012 г.^{[Обновить]}). После репликации это становится почти 200 петабайт.
  • Если бы все данные датчиков были записаны на LHC, с потоком данных было бы чрезвычайно сложно работать. Поток данных превысит 150 миллионов петабайт в год, или почти 500. эксабайты в сутки до репликации. Чтобы представить число в перспективе, это эквивалентно 500 квинтиллион (5×10²⁰) байт в день, что почти в 200 раз больше, чем у всех других источников, вместе взятых в мире.
• В Массив квадратных километров это радиотелескоп, состоящий из тысяч антенн. Ожидается, что он будет введен в эксплуатацию к 2024 году. Ожидается, что в совокупности эти антенны будут собирать 14 эксабайт и хранить один петабайт в день.^[110][111] Он считается одним из самых амбициозных научных проектов, когда-либо предпринимавшихся.^[112]
• Когда Sloan Digital Sky Survey (SDSS) начал собирать астрономические данные в 2000 году, за первые несколько недель он собрал больше, чем все данные, собранные в истории астрономии ранее. Продолжая работать со скоростью около 200 ГБ за ночь, SDSS накопил более 140 терабайт информации.^[4] Когда Большой синоптический обзорный телескоп, преемник SDSS, появится в сети в 2020 году, разработчики ожидают, что он будет получать такой объем данных каждые пять дней.^[4]
• Расшифровка генома человека изначально на обработку ушло 10 лет; теперь это можно сделать менее чем за день. Секвенаторы ДНК разделили стоимость секвенирования на 10000 за последние десять лет, что в 100 раз дешевле, чем снижение стоимости, предсказанное Закон Мура.^[113]
• В НАСА Центр климатического моделирования (NCCS) хранит 32 петабайта данных климатических наблюдений и моделирования в кластере суперкомпьютеров Discover.^[114][115]
• DNAStack Google собирает и упорядочивает образцы ДНК генетических данных со всего мира для выявления заболеваний и других медицинских дефектов. Эти быстрые и точные расчеты исключают любые «точки трения» или человеческие ошибки, которые мог сделать один из многочисленных экспертов в области науки и биологии, работающих с ДНК. DNAStack, часть Google Genomics, позволяет ученым использовать обширную выборку ресурсов с поискового сервера Google для мгновенного масштабирования социальных экспериментов, которые обычно занимают годы.^[116][117]
• 23andme с База данных ДНК содержит генетическую информацию о более чем 1 000 000 человек по всему миру.^[118] Компания изучает возможность продажи «анонимных агрегированных генетических данных» другим исследователям и фармацевтическим компаниям в исследовательских целях, если пациенты дадут свое согласие.^{[119][120][121][122][123]} Ахмад Харири, профессор психологии и нейробиологии в Университет Дьюка который использует 23andMe в своих исследованиях с 2009 года, заявляет, что наиболее важным аспектом новой услуги компании является то, что она делает генетические исследования доступными и относительно дешевыми для ученых.^[119] Исследование, которое выявило 15 сайтов генома, связанных с депрессией, в базе данных 23andMe, привело к резкому увеличению запросов на доступ к репозиторию, поскольку 23andMe отправил почти 20 запросов на доступ к данным о депрессии в течение двух недель после публикации статьи.^[124]
• Вычислительная гидродинамика (CFD ) и гидродинамический турбулентность исследования генерируют массивные наборы данных. Базы данных о турбулентности Джонса Хопкинса (JHTDB ) содержит более 350 терабайт пространственно-временных полей из прямого численного моделирования различных турбулентных течений. Такие данные было трудно разделить с использованием традиционных методов, таких как загрузка выходных файлов плоского моделирования. The data within JHTDB can be accessed using "virtual sensors" with various access modes ranging from direct web-browser queries, access through Matlab, Python, Fortran and C programs executing on clients' platforms, to cut out services to download raw data. The data have been used in over 150 scientific publications.

Спортивный

Big data can be used to improve training and understanding competitors, using sport sensors. It is also possible to predict winners in a match using big data analytics.^[125]Future performance of players could be predicted as well. Thus, players' value and salary is determined by data collected throughout the season.^[126]

In Formula One races, race cars with hundreds of sensors generate terabytes of data. These sensors collect data points from tire pressure to fuel burn efficiency.^[127]Based on the data, engineers and data analysts decide whether adjustments should be made in order to win a race. Besides, using big data, race teams try to predict the time they will finish the race beforehand, based on simulations using data collected over the season.^[128]

Технологии

• eBay.com uses two data warehouses at 7.5 petabytes and 40PB as well as a 40PB Hadoop cluster for search, consumer recommendations, and merchandising.^[129]
• Amazon.com handles millions of back-end operations every day, as well as queries from more than half a million third-party sellers. The core technology that keeps Amazon running is Linux-based and as of 2005^{[Обновить]} they had the world's three largest Linux databases, with capacities of 7.8 TB, 18.5 TB, and 24.7 TB.^[130]
• Facebook handles 50 billion photos from its user base.^[131] As of June 2017^{[Обновить]}, Facebook reached 2 billion monthly active users.^[132]
• Google was handling roughly 100 billion searches per month as of August 2012^{[Обновить]}.^[133]

COVID-19

Вовремя COVID-19 пандемия, big data was raised as a way to minimise the impact of the disease. Significant applications of big data included minimising the spread of the virus, case identification and development of medical treatment.^[134]

Governments used big data to track infected people to minimise spread. Early adopters included Китай, Тайвань, Южная Корея и Израиль.^{[135][136][137]}

Research activities

Encrypted search and cluster formation in big data were demonstrated in March 2014 at the American Society of Engineering Education. Gautam Siwach engaged at Tackling the challenges of Big Data к MIT Computer Science and Artificial Intelligence Laboratory and Dr. Amir Esmailpour at UNH Research Group investigated the key features of big data as the formation of clusters and their interconnections. They focused on the security of big data and the orientation of the term towards the presence of different types of data in an encrypted form at cloud interface by providing the raw definitions and real-time examples within the technology. Moreover, they proposed an approach for identifying the encoding technique to advance towards an expedited search over encrypted text leading to the security enhancements in big data.^[138]

In March 2012, The White House announced a national "Big Data Initiative" that consisted of six Federal departments and agencies committing more than $200 million to big data research projects.^[139]

The initiative included a National Science Foundation "Expeditions in Computing" grant of $10 million over 5 years to the AMPLab^[140] at the University of California, Berkeley.^[141] The AMPLab also received funds from DARPA, and over a dozen industrial sponsors and uses big data to attack a wide range of problems from predicting traffic congestion^[142] to fighting cancer.^[143]

The White House Big Data Initiative also included a commitment by the Department of Energy to provide $25 million in funding over 5 years to establish the scalable Data Management, Analysis and Visualization (SDAV) Institute,^[144] led by the Energy Department's Lawrence Berkeley National Laboratory. The SDAV Institute aims to bring together the expertise of six national laboratories and seven universities to develop new tools to help scientists manage and visualize data on the Department's supercomputers.

The U.S. state of Массачусетс announced the Massachusetts Big Data Initiative in May 2012, which provides funding from the state government and private companies to a variety of research institutions.^[145] В Массачусетский Институт Технологий hosts the Intel Science and Technology Center for Big Data in the MIT Computer Science and Artificial Intelligence Laboratory, combining government, corporate, and institutional funding and research efforts.^[146]

The European Commission is funding the 2-year-long Big Data Public Private Forum through their Seventh Framework Program to engage companies, academics and other stakeholders in discussing big data issues. The project aims to define a strategy in terms of research and innovation to guide supporting actions from the European Commission in the successful implementation of the big data economy. Outcomes of this project will be used as input for Horizon 2020, their next framework program.^[147]

The British government announced in March 2014 the founding of the Alan Turing Institute, named after the computer pioneer and code-breaker, which will focus on new ways to collect and analyze large data sets.^[148]

На University of Waterloo Stratford Campus Canadian Open Data Experience (CODE) Inspiration Day, participants demonstrated how using data visualization can increase the understanding and appeal of big data sets and communicate their story to the world.^[149]

Computational social sciences – Anyone can use Application Programming Interfaces (APIs) provided by big data holders, such as Google and Twitter, to do research in the social and behavioral sciences.^[150] Often these APIs are provided for free.^[150] Tobias Preis и другие. использовал Google Trends data to demonstrate that Internet users from countries with a higher per capita gross domestic product (GDP) are more likely to search for information about the future than information about the past. The findings suggest there may be a link between online behaviour and real-world economic indicators.^{[151][152][153]} The authors of the study examined Google queries logs made by ratio of the volume of searches for the coming year ('2011') to the volume of searches for the previous year ('2009'), which they call the 'future orientation index '.^[154] They compared the future orientation index to the per capita GDP of each country, and found a strong tendency for countries where Google users inquire more about the future to have a higher GDP. The results hint that there may potentially be a relationship between the economic success of a country and the information-seeking behavior of its citizens captured in big data.

Tobias Preis and his colleagues Helen Susannah Moat and H. Eugene Stanley introduced a method to identify online precursors for stock market moves, using trading strategies based on search volume data provided by Google Trends.^[155] Their analysis of Google search volume for 98 terms of varying financial relevance, published in Scientific Reports,^[156] suggests that increases in search volume for financially relevant search terms tend to precede large losses in financial markets.^{[157][158][159][160][161][162][163]}

Big data sets come with algorithmic challenges that previously did not exist. Hence, there is a need to fundamentally change the processing ways.^[164]

The Workshops on Algorithms for Modern Massive Data Sets (MMDS) bring together computer scientists, statisticians, mathematicians, and data analysis practitioners to discuss algorithmic challenges of big data.^[165] Regarding big data, one needs to keep in mind that such concepts of magnitude are relative. As it is stated "If the past is of any guidance, then today’s big data most likely will not be considered as such in the near future."^[70]

Sampling big data

An important research question that can be asked about big data sets is whether you need to look at the full data to draw certain conclusions about the properties of the data or is a sample good enough. The name big data itself contains a term related to size and this is an important characteristic of big data. But Sampling (statistics) enables the selection of right data points from within the larger data set to estimate the characteristics of the whole population. For example, there are about 600 million tweets produced every day. Is it necessary to look at all of them to determine the topics that are discussed during the day? Is it necessary to look at all the tweets to determine the sentiment on each of the topics? In manufacturing different types of sensory data such as acoustics, vibration, pressure, current, voltage and controller data are available at short time intervals. To predict downtime it may not be necessary to look at all the data but a sample may be sufficient. Big Data can be broken down by various data point categories such as demographic, psychographic, behavioral, and transactional data. With large sets of data points, marketers are able to create and use more customized segments of consumers for more strategic targeting.

There has been some work done in Sampling algorithms for big data. A theoretical formulation for sampling Twitter data has been developed.^[166]

Critique

Critiques of the big data paradigm come in two flavors: those that question the implications of the approach itself, and those that question the way it is currently done.^[167] One approach to this criticism is the field of critical data studies.

Critiques of the big data paradigm

"A crucial problem is that we do not know much about the underlying empirical micro-processes that lead to the emergence of the[se] typical network characteristics of Big Data".^[17] In their critique, Snijders, Matzat, and Reips point out that often very strong assumptions are made about mathematical properties that may not at all reflect what is really going on at the level of micro-processes. Mark Graham has leveled broad critiques at Chris Anderson 's assertion that big data will spell the end of theory:^[168] focusing in particular on the notion that big data must always be contextualized in their social, economic, and political contexts.^[169] Even as companies invest eight- and nine-figure sums to derive insight from information streaming in from suppliers and customers, less than 40% of employees have sufficiently mature processes and skills to do so. To overcome this insight deficit, big data, no matter how comprehensive or well analyzed, must be complemented by "big judgment," according to an article in the Harvard Business Review.^[170]

Much in the same line, it has been pointed out that the decisions based on the analysis of big data are inevitably "informed by the world as it was in the past, or, at best, as it currently is".^[57] Fed by a large number of data on past experiences, algorithms can predict future development if the future is similar to the past.^[171] If the system's dynamics of the future change (if it is not a stationary process ), the past can say little about the future. In order to make predictions in changing environments, it would be necessary to have a thorough understanding of the systems dynamic, which requires theory.^[171] As a response to this critique Alemany Oliver and Vayre suggest to use "abductive reasoning as a first step in the research process in order to bring context to consumers' digital traces and make new theories emerge".^[172]Additionally, it has been suggested to combine big data approaches with computer simulations, such as agent-based models^[57] и complex systems. Agent-based models are increasingly getting better in predicting the outcome of social complexities of even unknown future scenarios through computer simulations that are based on a collection of mutually interdependent algorithms.^[173][174] Finally, the use of multivariate methods that probe for the latent structure of the data, such as factor analysis и cluster analysis, have proven useful as analytic approaches that go well beyond the bi-variate approaches (cross-tabs) typically employed with smaller data sets.

In health and biology, conventional scientific approaches are based on experimentation. For these approaches, the limiting factor is the relevant data that can confirm or refute the initial hypothesis.^[175]A new postulate is accepted now in biosciences: the information provided by the data in huge volumes (omics ) without prior hypothesis is complementary and sometimes necessary to conventional approaches based on experimentation.^[176][177] In the massive approaches it is the formulation of a relevant hypothesis to explain the data that is the limiting factor.^[178] The search logic is reversed and the limits of induction ("Glory of Science and Philosophy scandal", C. D. Broad, 1926) are to be considered.^{[нужна цитата ]}

Privacy advocates are concerned about the threat to privacy represented by increasing storage and integration of personally identifiable information; expert panels have released various policy recommendations to conform practice to expectations of privacy.^{[179][180][181]} The misuse of Big Data in several cases by media, companies and even the government has allowed for abolition of trust in almost every fundamental institution holding up society.^[182]

Nayef Al-Rodhan argues that a new kind of social contract will be needed to protect individual liberties in a context of Big Data and giant corporations that own vast amounts of information. The use of Big Data should be monitored and better regulated at the national and international levels.^[183] Barocas and Nissenbaum argue that one way of protecting individual users is by being informed about the types of information being collected, with whom it is shared, under what constrains and for what purposes.^[184]

Critiques of the 'V' model

The 'V' model of Big Data is concerting as it centres around computational scalability and lacks in a loss around the perceptibility and understandability of information. This led to the framework of cognitive big data, which characterizes Big Data application according to:^[185]

• Data completeness: understanding of the non-obvious from data;
• Data correlation, causation, and predictability: causality as not essential requirement to achieve predictability;
• Explainability and interpretability: humans desire to understand and accept what they understand, where algorithms don't cope with this;
• Level of automated decision making: algorithms that support automated decision making and algorithmic self-learning;

Critiques of novelty

Large data sets have been analyzed by computing machines for well over a century, including the US census analytics performed by IBM 's punch-card machines which computed statistics including means and variances of populations across the whole continent. In more recent decades, science experiments such as CERN have produced data on similar scales to current commercial "big data". However, science experiments have tended to analyze their data using specialized custom-built high-performance computing (super-computing) clusters and grids, rather than clouds of cheap commodity computers as in the current commercial wave, implying a difference in both culture and technology stack.

Critiques of big data execution

Ulf-Dietrich Reips and Uwe Matzat wrote in 2014 that big data had become a "fad" in scientific research.^[150] Исследователь Danah Boyd has raised concerns about the use of big data in science neglecting principles such as choosing a representative sample by being too concerned about handling the huge amounts of data.^[186] This approach may lead to results that have bias in one way or another.^[187] Integration across heterogeneous data resources—some that might be considered big data and others not—presents formidable logistical as well as analytical challenges, but many researchers argue that such integrations are likely to represent the most promising new frontiers in science.^[188]In the provocative article "Critical Questions for Big Data",^[189] the authors title big data a part of mythology: "large data sets offer a higher form of intelligence and knowledge [...], with the aura of truth, objectivity, and accuracy". Users of big data are often "lost in the sheer volume of numbers", and "working with Big Data is still subjective, and what it quantifies does not necessarily have a closer claim on objective truth".^[189] Recent developments in BI domain, such as pro-active reporting especially target improvements in usability of big data, through automated filtering из non-useful data and correlations.^[190] Big structures are full of spurious correlations^[191] either because of non-causal coincidences (law of truly large numbers ), solely nature of big randomness^[192] (Теория Рамсея ) or existence of non-included factors so the hope, of early experimenters to make large databases of numbers "speak for themselves" and revolutionize scientific method, is questioned.^[193]

Big data analysis is often shallow compared to analysis of smaller data sets.^[194] In many big data projects, there is no large data analysis happening, but the challenge is the extract, transform, load part of data pre-processing.^[194]

Big data is a модное слово and a "vague term",^[195][196] but at the same time an "obsession"^[196] with entrepreneurs, consultants, scientists and the media. Big data showcases such as Google Flu Trends failed to deliver good predictions in recent years, overstating the flu outbreaks by a factor of two. По аналогии, Academy awards and election predictions solely based on Twitter were more often off than on target.Big data often poses the same challenges as small data; adding more data does not solve problems of bias, but may emphasize other problems. In particular data sources such as Twitter are not representative of the overall population, and results drawn from such sources may then lead to wrong conclusions. переводчик Google —which is based on big data statistical analysis of text—does a good job at translating web pages. However, results from specialized domains may be dramatically skewed.On the other hand, big data may also introduce new problems, such as the multiple comparisons problem: simultaneously testing a large set of hypotheses is likely to produce many false results that mistakenly appear significant.Ioannidis argued that "most published research findings are false"^[197] due to essentially the same effect: when many scientific teams and researchers each perform many experiments (i.e. process a big amount of scientific data; although not with big data technology), the likelihood of a "significant" result being false grows fast – even more so, when only positive results are published.Furthermore, big data analytics results are only as good as the model on which they are predicated. In an example, big data took part in attempting to predict the results of the 2016 U.S. Presidential Election^[198] with varying degrees of success.

Critiques of big data policing and surveillance

Big Data has been used in policing and surveillance by institutions like правоохранительные органы и корпорации.^[199] Due to the less visible nature of data-based surveillance as compared to traditional method of policing, objections to big data policing are less likely to arise. According to Sarah Brayne's Big Data Surveillance: The Case of Policing,^[200] big data policing can reproduce existing societal inequalities in three ways:

• Placing suspected criminals under increased surveillance by using the justification of a mathematical and therefore unbiased algorithm;
• Increasing the scope and number of people that are subject to law enforcement tracking and exacerbating existing racial overrepresentation in the criminal justice system;
• Encouraging members of society to abandon interactions with institutions that would create a digital trace, thus creating obstacles to social inclusion.

If these potential problems are not corrected or regulating, the effects of big data policing continue to shape societal hierarchies. Conscientious usage of big data policing could prevent individual level biases from becoming institutional biases, Brayne also notes.

В популярной культуре

Книги

• Moneyball is a non-fiction book that explores how the Oakland Athletics used statistical analysis to outperform teams with larger budgets. In 2011 a экранизация в главных ролях Brad Pitt was released.
• 1984 is a dystopian novel by Джордж Оруэлл. In 1984 the government collects information on citizens and uses the information to maintain an totalitarian rule.

Фильм

• В Капитан Америка: Зимний солдат H.Y.D.R.A (disguised as S.H.I.E.L.D ) develops helicarriers that use data to determine and eliminate threats over the globe.
• В The Dark Knight, Бэтмен uses a sonar device that can spy on all of Gotham City. The data is gathered from the mobile phones of people within the city.

Смотрите также

Рекомендации

дальнейшее чтение

• Питер Киннэрд; Инбал Талгам-Коэн, ред. (2012). "Большое количество данных". Студенческий журнал ACM Crossroads. XRDS: Crossroads, Журнал ACM для студентов. Vol. 19 нет. 1. Ассоциация вычислительной техники. ISSN  1528-4980. OCLC  779657714.
• Юре Лесковец; Ананд Раджараман; Джеффри Д. Уллман (2014). Майнинг массивных наборов данных. Издательство Кембриджского университета. ISBN  9781107077232. OCLC  888463433.
• Виктор Майер-Шёнбергер; Кеннет Кукьер (2013). Большие данные: революция, которая изменит то, как мы живем, работаем и думаем. Houghton Mifflin Harcourt. ISBN  9781299903029. OCLC  828620988.
• Press, Gil (9 мая 2013 г.). «Очень краткая история больших данных». forbes.com. Джерси-Сити, штат Нью-Джерси: Журнал Forbes. Получено 17 сентября 2016.
• «Большие данные: революция в управлении». hbr.org. Harvard Business Review. Октябрь 2012 г.
• О'Нил, Кэти (2017). Оружие разрушения математики: как большие данные увеличивают неравенство и угрожают демократии. Бродвейские книги. ISBN  978-0553418835.

внешняя ссылка

• СМИ, связанные с Большое количество данных в Wikimedia Commons
• Словарное определение большое количество данных в Викисловарь