Целостность данных - Data integrity

Целостность данных является поддержанием и гарантией точности и последовательности данные по всему жизненный цикл,[1] и является критически важным аспектом для проектирования, реализации и использования любой системы, которая хранит, обрабатывает или извлекает данные. Термин имеет широкий охват и может иметь самые разные значения в зависимости от конкретного контекста - даже под одним и тем же общим зонтом вычисление. Иногда он используется как термин для обозначения Качество данных,[2] пока проверка достоверности данных является предварительным условием целостности данных.[3]Целостность данных противоположна повреждение данных.[4] Общая цель любого метода обеспечения целостности данных одинакова: гарантировать, что данные записываются точно так, как предполагалось (например, база данных правильно отклоняет взаимоисключающие возможности), а затем поиск, убедитесь, что данные такие же, как при первоначальной записи. Короче говоря, целостность данных направлена ​​на предотвращение непреднамеренных изменений информации. Целостность данных не следует путать с безопасность данных, дисциплина защиты данных от неавторизованных сторон.

Любые непреднамеренные изменения данных в результате операции хранения, извлечения или обработки, включая злонамеренные действия, неожиданный отказ оборудования и человеческая ошибка, нарушение целостности данных. Если изменения являются результатом несанкционированного доступа, это также может быть нарушением безопасности данных. В зависимости от задействованных данных это может проявиться как безобидный, в виде отдельного пикселя на изображении, имеющего другой цвет, чем был первоначально записан, до потери фотографий из отпуска или критически важной для бизнеса базы данных, даже до катастрофической гибели людей в результате аварии. критически важная система.

Типы целостности

Физическая целостность

Физическая целостность решает проблемы, связанные с правильным хранением и извлечением самих данных. Проблемы с физической неприкосновенностью могут включать: электромеханический недостатки, недостатки конструкции, материал усталость, коррозия, Отключения питания, стихийные бедствия и другие особые экологические опасности, такие как ионизирующего излучения, экстремальные температуры, давления и перегрузки. Обеспечение физической целостности включает такие методы, как избыточный оборудование, бесперебойный источник питания, некоторые виды RAID массивы, радиационно стойкий чипсы исправляющая память, использование кластерная файловая система, используя файловые системы, использующие уровень блоков контрольные суммы Такие как ZFS, массивы хранения, которые выполняют вычисления четности, такие как Эксклюзивный или или используйте криптографическая хеш-функция и даже имея сторожевой таймер на критических подсистемах.

Физическая целостность часто широко использует алгоритмы обнаружения ошибок, известные как коды с исправлением ошибок. Ошибки целостности данных, вызванные деятельностью человека, часто обнаруживаются с помощью более простых проверок и алгоритмов, таких как Алгоритм дамма или же Алгоритм Луна. Они используются для поддержания целостности данных после ручной транскрипции из одной компьютерной системы в другую посредником-человеком (например, номера кредитных карт или банковских маршрутов). Компьютерные ошибки транскрипции можно обнаружить с помощью хэш-функции.

В производственных системах эти методы используются вместе для обеспечения различной степени целостности данных. Например, компьютер файловая система может быть настроен на отказоустойчивом массиве RAID, но может не предоставлять контрольные суммы на уровне блоков для обнаружения и предотвращения тихое повреждение данных. В качестве другого примера, система управления базой данных может быть совместима с КИСЛОТА свойства, но контроллер RAID или внутренний кэш записи жесткого диска могут отсутствовать.

Логическая целостность

Смотрите также: Мьютекс и Копирование при записи

Этот тип целостности касается правильность или же рациональность части данных с учетом конкретного контекста. Сюда входят такие темы, как ссылочная целостность и целостность сущности в реляционная база данных или корректное игнорирование невозможных данных датчиков в роботизированных системах. Эти заботы включают обеспечение того, чтобы данные «имели смысл» с учетом среды. Проблемы включают программные ошибки, конструктивные недостатки и человеческие ошибки. Общие методы обеспечения логической целостности включают такие вещи, как проверить ограничения, ограничения внешнего ключа, программа утверждения и другие проверки работоспособности во время выполнения.

Как физическая, так и логическая целостность часто имеют много общих проблем, таких как человеческие ошибки и недостатки проектирования, и оба должны соответствующим образом обрабатывать одновременные запросы на запись и извлечение данных, последний из которых является полностью самостоятельной темой.

Если в секторе данных есть только логическая ошибка, его можно использовать повторно, перезаписав его новыми данными. В случае физической ошибки затронутый сектор данных постоянно не используется.

Базы данных

Целостность данных содержит рекомендации по хранение данных, определяя или гарантируя продолжительность хранения данных в конкретной базе данных. Для обеспечения целостности данных эти правила последовательно и регулярно применяются ко всем данным, поступающим в систему, и любое ослабление правоприменения может вызвать ошибки в данных. Осуществление проверок данных как можно ближе к источнику ввода (например, ввод данных человеком) приводит к тому, что в систему поступает меньше ошибочных данных. Строгое соблюдение правил целостности данных приводит к снижению количества ошибок и экономии времени на устранение неполадок и отслеживание ошибочных данных и ошибок, которые они вызывают в алгоритмах.

Целостность данных также включает правила, определяющие отношения, которые часть данных может иметь с другими частями данных, такими как Покупатель запись позволяет ссылаться на купленный Товары, но не к несвязанным данным, таким как Корпоративные активы. Целостность данных часто включает проверки и исправление недействительных данных на основе фиксированного схема или предопределенный набор правил. Примером являются текстовые данные, введенные, где требуется значение даты и времени. Также применимы правила получения данных, определяющие способ получения значения данных на основе алгоритма, участников и условий. Он также определяет условия того, как значение данных может быть получено повторно.

Типы ограничений целостности

Целостность данных обычно обеспечивается в система базы данных серией ограничений или правил целостности. Три типа ограничений целостности являются неотъемлемой частью реляционной модели данных: целостность объекта, ссылочная целостность и целостность домена.

  • Целостность сущности касается концепции первичный ключ. Целостность сущности - это правило целостности, которое гласит, что каждая таблица должна иметь первичный ключ и что столбец или столбцы, выбранные в качестве первичного ключа, должны быть уникальными, а не пустыми.
  • Ссылочная целостность касается концепции иностранный ключ. Правило ссылочной целостности гласит, что любое значение внешнего ключа может находиться только в одном из двух состояний. Обычное положение дел состоит в том, что значение внешнего ключа относится к значению первичного ключа некоторой таблицы в базе данных. Иногда, и это будет зависеть от правил владельца данных, значение внешнего ключа может быть ноль. В этом случае мы явно говорим, что либо между объектами, представленными в базе данных, нет никакой связи, либо эта связь неизвестна.
  • Целостность домена указывает, что все столбцы в реляционной базе данных должны быть объявлены в определенном домене. Основной единицей данных в реляционной модели данных является элемент данных. Такие элементы данных называются неразложимыми или атомарными. Домен - это набор значений одного типа. Таким образом, домены представляют собой пулы значений, из которых берутся фактические значения, появляющиеся в столбцах таблицы.
  • Определенная пользователем целостность относится к набору правил, заданных пользователем, которые не принадлежат к категориям сущности, домена и ссылочной целостности.

Если база данных поддерживает эти функции, она несет ответственность за обеспечение целостности данных, а также модель согласованности для хранения и поиска данных. Если база данных не поддерживает эти функции, приложения несут ответственность за обеспечение целостности данных, в то время как база данных поддерживает модель согласованности для хранения и поиска данных.

Наличие единой, хорошо контролируемой и четко определенной системы целостности данных увеличивает

  • стабильность (одна централизованная система выполняет все операции целостности данных)
  • производительность (все операции целостности данных выполняются на том же уровне, что и модель согласованности)
  • возможность повторного использования (все приложения получают выгоду от единой централизованной системы целостности данных)
  • ремонтопригодность (одна централизованная система для всего администрирования целостности данных).

Современное базы данных поддерживают эти функции (см. Сравнение систем управления реляционными базами данных ), а обеспечение целостности данных стало де-факто обязанностью базы данных. Компании и многие системы баз данных предлагают продукты и услуги для переноса устаревших систем на современные базы данных.

Примеры

Примером механизма целостности данных являются отношения между родителями и потомками связанных записей. Если родительская запись владеет одной или несколькими связанными дочерними записями, все процессы ссылочной целостности обрабатываются самой базой данных, что автоматически обеспечивает точность и целостность данных, так что ни одна дочерняя запись не может существовать без родительской записи (также называемой осиротевшей) и что ни один родитель не теряет свои дочерние записи. Это также гарантирует, что никакая родительская запись не может быть удалена, пока родительская запись владеет дочерними записями. Все это обрабатывается на уровне базы данных и не требует проверки целостности кода в каждом приложении.

Файловые системы

Результаты различных исследований показывают, что ни файловые системы (включая УФС, Ext, XFS, JFS и NTFS ) ни аппаратный RAID решения обеспечивают достаточную защиту от проблем целостности данных.[5][6][7][8][9]

Некоторые файловые системы (включая Btrfs и ZFS ) предоставить внутренние данные и метаданные контрольная сумма, которая используется для обнаружения тихое повреждение данных и улучшение целостности данных. Если таким образом обнаруживается повреждение и также используются внутренние механизмы RAID, предоставляемые этими файловыми системами, такие файловые системы могут дополнительно прозрачным образом восстанавливать поврежденные данные.[10] Этот подход позволяет улучшить защиту целостности данных, охватывающую все пути к данным, что обычно называется сквозная защита данных.[11]

Целостность данных применительно к различным отраслям

  • Соединенные штаты. Управление по контролю за продуктами и лекарствами разработала проект руководства по целостности данных для производителей фармацевтической продукции, который должен соблюдать Кодекс федеральных нормативных актов США 21 CFR, части 210–212.[12] За пределами США аналогичные рекомендации по обеспечению целостности данных были выпущены в Великобритании (2015 г.), Швейцарии (2016 г.) и Австралии (2017 г.).[13]
  • Различные стандарты производства медицинских устройств прямо или косвенно касаются целостности данных, в том числе: ISO 13485, ISO 14155 и ISO 5840.[14]
  • В начале 2017 г. Регулирующий орган финансовой отрасли (FINRA), отметив проблемы целостности данных в системах автоматического трейдинга и наблюдения за движением денег, заявила, что сделает «разработку программы целостности данных для контроля точности представленных данных» приоритетной задачей.[15] В начале 2018 года FINRA заявило, что расширит свой подход к целостности данных на «политику и процедуры управления технологическими изменениями» и проверки ценных бумаг Казначейства.[16]
  • Другие отрасли, такие как горнодобывающая промышленность[17] и производство продукции[18] все больше внимания уделяют важности целостности данных в связанных активах автоматизации и мониторинга производства.
  • Поставщики облачных хранилищ уже давно сталкиваются с серьезными проблемами, связанными с обеспечением целостности или происхождения данных клиентов и отслеживанием нарушений.[19][20][21]

Смотрите также

Рекомендации

  1. ^ Бориц, Дж. «Взгляды практиков ИБ на основные концепции целостности информации». Международный журнал бухгалтерских информационных систем. Эльзевир. Архивировано из оригинал 5 октября 2011 г.. Получено 12 августа 2011.
  2. ^ Что такое целостность данных? Узнайте, как обеспечить целостность данных в базе данных с помощью проверок, тестов и передовых методов
  3. ^ Что такое целостность данных? Защита данных 101
  4. ^ Из книги: Убервонаблюдение и социальные последствия применения микрочиповых имплантатов: новые возможности стр. 40
  5. ^ Виджаян Прабхакаран (2006). «ЖЕЛЕЗНЫЕ ФАЙЛОВЫЕ СИСТЕМЫ» (PDF). Доктор философии в области компьютерных наук. Университет Висконсин-Мэдисон. Получено 9 июн 2012.
  6. ^ «Паритет потерян, и паритет восстановлен».
  7. ^ «Анализ повреждения данных в стеке хранения» (PDF).
  8. ^ «Влияние повреждения диска на СУБД с открытым исходным кодом» (PDF).
  9. ^ "Baarf.com". Baarf.com. Получено 4 ноября, 2011.
  10. ^ Бирман, Маргарет; Гриммер, Ленц (август 2012 г.). «Как я использую расширенные возможности Btrfs». Получено 2014-01-02.
  11. ^ Юпу Чжан; Абхишек Раджимвале; Андреа К. Арпачи-Дюссо; Ремзи Х. Арпачи-Дюссо. «Сквозная целостность данных для файловых систем: пример использования ZFS» (PDF). Департамент компьютерных наук, Университет Висконсина. Получено 2014-01-02.
  12. ^ «Целостность данных и соответствие CGMP: руководство для промышленности» (PDF). Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США. Апрель 2016 г.. Получено 20 января 2018.
  13. ^ Дэвидсон, Дж. (18 июля 2017 г.). «Руководство по обеспечению целостности данных во всем мире». Контракт Фарма. Родман Медиа. Получено 20 января 2018.
  14. ^ Сканнель, П. (12 мая 2015 г.). «Целостность данных: взгляд с точки зрения нормативно-правовой базы и стандартов медицинского оборудования» (PDF). Семинар по целостности данных. Ассоциация парентеральных препаратов. стр. 10–57. Получено 20 января 2018.
  15. ^ Кук, Р. (4 января 2017 г.). «Письмо о соответствии нормативным требованиям и приоритетам проведения экзаменов на 2017 год». Регулирующий орган финансовой отрасли. Получено 20 января 2018.
  16. ^ Р. Кук (8 января 2018 г.). «Письмо о соответствии нормативным требованиям и приоритетам проведения экзаменов на 2018 год». Регулирующий орган финансовой отрасли. Получено 20 января 2018.
  17. ^ «Целостность данных: возможность принятия эффективных решений при добыче полезных ископаемых» (PDF). Accenture. 2016 г.. Получено 20 января 2018.
  18. ^ «Индустрия 4.0 и киберфизические системы повышают потребность в целостности данных». Блог Ними. Nymi, Inc. 24 октября 2017 г.. Получено 20 января 2018.
  19. ^ Priyadharshini, B .; Парвати, П. (2012). «Целостность данных в облачном хранилище». Материалы Международной конференции по достижениям в области инженерии, науки и менеджмента 2012 г.. ISBN  9788190904223.
  20. ^ Зафар, Ф .; Хан, А .; Малик, С.У.Р .; и другие. (2017). «Обзор схем целостности данных облачных вычислений: проблемы проектирования, таксономия и будущие тенденции». Компьютеры и безопасность. 65 (3): 29–49. Дои:10.1016 / j.cos.2016.10.006.
  21. ^ Imran, M .; Hlavacs, H .; Haq, I.U.I .; и другие. (2017). «Проверка целостности данных на основе происхождения и проверка в облачных средах». PLOS One. 12 (5): e0177576. Дои:10.1371 / journal.pone.0177576. ЧВК  5435237. PMID  28545151.

дальнейшее чтение