Где хранится вся информация, выложенная в интернет
Содержание статьи
Что такое дата-центр
В дата-центре хранится абсолютно вся информация, выкладываемая в сеть. Это ваши личные фотографии, загруженные документы, записи разговоров по Скайпу, комментарии в блогах и прочие важные и неважные данные. По сути, дата-центр – это такой большой банк, хранилище контента. Создавая такие хранилища, разработчики преследовали несколько целей: круглосуточную доступность, защиту доступа, сохранение информации и целостности файлов.
Поскольку ценная информация существует, то обязательно найдутся те, кто захочет ее похитить. За безопасность дата-центров отвечают не военные или солдаты, а высокоинтеллектуальные hight-tech охранники, работающие под прицелом видеонаблюдения и систем контроля. Обязанность охранников заключается в том, чтобы обеспечить конфиденциальность и полную неприкосновенность контента.
Технические условия работы дата-центра
Существуют жесткие правила, регламентирующие работу дата-центров. Предприятия должны обеспечиваться электроэнергией бесперебойно. Дата-центры уровня Tier4 (четвертого уровня) получают электроэнергию сразу от двух электростанций. Такая двойная подстраховка нужна для того, чтобы исключить вероятность отключения от электроэнергии в случае выхода из строя одной из электростанций.
Дата-центры оборудуются современными системами газового тушения пожара. Газовые системы пожаротушения предусматривают засыпание порошком углекислоты источника возгорания во избежание порчи остального оборудования. Порошок углекислоты традиционно используется в огнетушителях для тушения подключенного к электроэнергии оборудования.
Большое внимание уделяется климат-контролю. Во время работы жесткие диски и серверы выделяют тепло, которое удаляется при помощи систем кондиционирования и вентиляции. Летом по ночам используется прохладный фильтрованный воздух улицы, зимой морозный воздух смешивается с теплым внутренним.
На чем зарабатывают «хранители информации»
Дата-центры работают на коммерческой основе. Они сдают в аренду места в сетевых хранилищах или на жестких дисках. При желании можно взять в аренду целый сервер, место в стойке под собственный сервер или арендовать бокс. В последнем случае к стоимости аренды добавляется стоимость электроэнергии (с небольшой наценкой).
В последнее время приобрела популярность такая услуга, как аренда части программного обеспечения. Дата-центры покупают лицензионные программы, устанавливают их на своих серверах и сдают частями в аренду. Еще одна популярная услуга – аренда виртуального сервера, то есть определенной доли ресурса сервера.
Где хранится вся информация, накопленная в Интернете?
Интернет – бездонный океан, наполненный миллионами терабайт информации. Ежедневно люди выкладывают на просторы Сети массу видео, картинок, документов и другого контента, который легко извлекается даже спустя долгие годы. Где всё это хранится? В каком месте расположен Интернет?
Вся информация, которую можно увидеть на том или ином сайте, хранится на серверах – специализированных компьютерах, оснащенных большим запасом памяти. Они обрабатывают, хранят и выдают имеющийся контент пользователю. Работает агрегат автономно, без непосредственного участия человека.
Сам контент накапливается на обычных жестких дисках – винчестерах. Всякий раз, когда человек кликает на нужный сайт, компьютер вначале обращается к DNS серверу, который ищет по имени домена нужный ip-адрес и позволяет открыть интересующий веб-узел.
Чем дальше пользователь находится от такого сервера, тем дольше идет к нему запрос. От этого зависит скорость Интернета – время ответа сервера. Чем оно ниже, чем быстрее мы получаем информацию.
Сеть серверов – это и есть Интернет. Хранится всё это богатство в дата-центрах – специализированных зданиях, где расположены серверы и средства связи. Это банк информации, который охраняется и бережется соответствующим образом. Подобные информационные хранилища существуют в каждом крупном городе.
Как устроен Дата-центр?
Центры хранения данных работают на коммерческой основе: сдают в аренду места на своих жестких дисках. Таким образом, можно создать сайт, информация с которого будет накапливаться на арендованном сервере или его небольшой части.
Крупные организации, такие как банки, поисковые системы, продвинутые интернет порталы и т.д. строят собственные хранилища. Например, так поступает кампания «Яндекс», которая воздвигла собственные дата-центры сразу в нескольких странах.
При этом поисковые системы часто индексируют данные всех зарегистрированных сайтов. Случается, что информация на определенном сайте по какой-либо причине удаляется, а «Яндекс» может гордо заявить: «А я сохранил!»
Работа хранилищ жёстко регламентирована. Дата-центры обеспечиваются электроэнергией бесперебойно. Внезапное отключение электричества подстраховывают дизель-генераторы и маховики – инерционные аккумуляторы в виде массивных вращающихся колёс.
Хранилища оборудованы современными системами пожаротушения и охлаждения. Во время работы жесткие диски и серверы выделяют тепло, а потому имеют свойство перегреваться. Чтобы этого не происходило, лишнее тепло удаляется с помощью кондиционеров и вентиляции.
Таким образом, вся накопленная в Интернете информация находится в дата-центрах.
Несмотря на всю популярность Сети Интернет по всей планете, многие пользователи считают технологию какой-то невидимой силой. Хотя по факту, это более чем материальная вещь, за работу которой отвечают мощные компьютеры, сервера и дата-центры, обменивающиеся информацией за доли секунды и соединенные между собой километрами кабелей и оптоволокон. Что же это за хранилища, как устроены дата-центры и как выглядят центры обработки данных крупнейших компаний.
Что такое дата-центр
Как и много других новшеств, изобретению и распространению Интернета люди обязаны военной отрасли. Именно для нее были первые разработки Сети, и именно для связи военных баз их лаборатории решили объединить в сеть (сначала локальную, а теперь повсеместную), которая используется не только в решении военных конфликтов. Сегодня разработка используется для распространения контента любой тематики и любого направления. Загружая информацию на просторы Сети (будь это фото, видео или «цитата дня» от Джейсона Стэйтема), она молниеносно попадает в центр обработки данных (ЦОД).
Дата-центр – это не просто большая флешка, это огромные здания похожие на крепости, заполненные серверами, оптическими кабелями и проводами. На работу и обслуживание современного хранилища затрачивается столько же электроэнергии, как для обслуживания небольшого городка. Использование дата-центров позволяет решать одновременно несколько задач:
Дата-центр: готов к любым испытаниям
Центры обработки данных укомплектованы не только современными серверами, но и надежной противопожарной защитой. Газовые системы используют порошок углекислоты, который способен ликвидировать возгорание, для предотвращения поломки остального оборудования. Особое внимание уделяется обеспечению соответствующего климата.
Серверы и жесткие диски во время использования выделяют тепло. Для охлаждения ПК достаточно кулера со спичечный коробок, для промышленных масштабов этот вариант не подходит. Здесь установлены полноценные системы кондиционирования и вентиляции, которые защищают лабиринты из серверов от перегревания.
Дух коммерции или на чем зарабатывают дата-центры
Крупные компании, такие как Facebook, Google, имеют в своем распоряжении собственные хранилища, но для более скромных потребителей есть услуга аренды места в дата-центре. Это может быть один сервер (dedicated server) или место в стойке (collocation), где можно установить собственный сервер, или место в сетевом хранилище. В случае аренды с установкой собственного оборудования, владельцы дата-центров зарабатывают не только на аренде площади, но и на электроэнергии, т.к. арендаторам продают ее с небольшой накруткой.
Еще один вариант заработка для владельцев ЦОД – сдача лицензионного ПО в аренду. Дата-центры приобретают программное обеспечение и устанавливают их на своих серверах, а после (за определенную плату) сдают их частями в аренду. В последние годы набирает популярность услуга аренды виртуального сервера: части ресурса сервера (VPS – virtual private server).
Где хранится вся информация в интернете: уникальные по своей грандиозности и мощи дата-центры
IBM (США)
Результатом эксперимента известной корпорации стал дата-центр на территории Сиракьюсского университета. Суть задания была в снижении потребляемой электроэнергии в два раза. И в 2009 году им это удалось. Для питания используется отдельная станция, работающая на газу.
Citigroup (Германия)
Центр, разработанный фирмой Arup Associates в 2008 году, считается одним из самых «зеленых» комплексов этой категории. Это значит, что его работа наносит минимальный вред природе. Все от освещения до охлаждения направлено на рациональное использование. О заботе о природе можно догадаться и просто посмотрев на сооружение: один из фронтонов устелен газоном, который украшает здание и собирает воду, используемую в увлажнителях.
Ebay (США)
Дата-центр Ebay построена на песках Аризонской пустыни (не самая простая задача для инженеров, работающих над созданием охладительной системы). Оборудование в этом центре помещается в специальные контейнеры, которые не только смогли защитить их от перегрева, но и повысить собственную энергоэффективность до 95%.
Digital Beijing (Китай)
Пекинский ЦОД выделяется мощью и смелыми архитектурными решениями. Специально к Олимпиаде 2008 года архитектурной компанией Studio Pei-Zhu было построено здание в 11 этажей, которое стало и дата-центром и штабом технической поддержки Олимпийских игр. Теперь, когда спортивные мероприятия завершились, в здании работает музей.
Apple (США)
Яблочная компания заботится не только о бесперебойности и сохранности данных своих клиентов, но и об экологической ситуации на планете. Поэтому одной из основных целей было использование энергии из возобновляемых источников. Работа в дата-центре зависит от 400 тыс.кв.м солнечных батарей. Энергии достаточно для обеспечения 60% работы центра, остальная мощность подается с электростанции (на биотопливе).
Google (Финляндия)
Гигант веб-индустрии имеет, безусловно, не один дата-центр. Комплексы разбросаны по всей планете и практически все они отвечают критерию «green». Для работы над финским ЦОД был приглашен один из лучших финских специалистов — Алвар Аалто. Холодные воды Финского залива идеально подходят для создания соответствующего климата внутри помещений.
Verne Global (Исландия)
Концерн BMW использует этот ЦОД в Рейкьявике для своих нужд: расчет показателей новых моделей, обработка результатов испытаний и другое. За счет работы гидроэлектростанций, установленных вблизи гейзеров, дата-центр не загрязняет окружающую среду углекислым газом.
Facebook (США)
В Праймвиле компания Марка Цукерберга возвела дата-центр площадью 28 тыс.кв.м. Представьте флешку размером как три футбольных поля. Для объединения серверов используется 6,5 тысяч километров оптоволокна, а для охлаждения построен 7-ми комнатный пентхаус с современной системой природного кондиционирования.
Представляю вашему вниманию перевод статьи «Storage for the Web» автора Pete LePage.
Существует несколько технологий для хранения данных в браузере. Какая из них лучше?
Интернет-соединение может быть плохим или вовсе отсутствовать в определенных местах. Поэтому поддержка оффлайн-режима является одной из ключевых особенностей прогрессивных веб-приложений. Даже при наличии высокоскоростного подключения разумно применять кэширование и другие техники для улучшения пользовательского опыта. Существует несколько способов сохранения файлов (HTML, JavaScript, CSS, изображения и т.д.) и данных (пользовательские данные, новостные статьи и др.). Но какое решение лучше выбрать? И как обеспечить его долговечность?
Что использовать?
Могу посоветовать следующее:
Что насчет других механизмов?
В браузере также существуют другие механизмы хранения данных, но они имеют определенные ограничения и могут приводить к проблемам производительности.
Какой объем данных я могу хранить?
Как минимум, несколько сотен мегабайт, потенциально, сотни гигабайт. Это зависит от браузера, однако объем хранилища, как правило, зиждется на объеме доступной памяти в устройстве пользователя.
Сегодня большая часть браузеров этого не делает, автоматически увеличивая объем хранилища в пределах квоты. Исключение составляет Safari, который при достижении 750 Мб запрашивает разрешение пользователя на увеличение лимита до 1,1 Гб. Попытка превысить квоту закончится провалом.
Как проверить остаток лимита?
Для этого во многих браузерах можно воспользоваться StorageManager API. Он показывает общее количество байт, использованных IndexedDB и Cache API, позволяя рассчитать остаток.
Необходимо учитывать, что StorageManager API пока поддерживается не всеми браузерами. Однако даже если он поддерживается, необходимо предусматривать обработчик ошибок. В некоторых случаях квота может превышать реальный объем хранилища.
Инспектирование
При разработке вы можете использовать инструменты браузера для отслеживания состояния различных хранилищ и их очистки.
Во время работы над статьей я написал этот простой инструмент для быстрого тестирования возможностей хранилищ. Это быстрый и легкий способ поэкспериментировать с разными механизмами хранения данных и посмотреть, что произойдет при превышении квоты.
Как обрабатывать ошибки?
Что делать при достижении лимита? Разумеется, обрабатывать ошибки, будь то QuotaExceededError или нечто иное. Затем, в зависимости от дизайна вашего приложения, следует выбрать способ их обработки. Можно, например, удалять старый контент или данные в зависимости от их размера, либо предоставлять пользователю возможность решать, что удалять.
IndexedDB и Cache API выбрасывают DOMError QuotaExceededError при превышении квоты.
IndexedDB
При достижении лимита попытка записать данные в IndexedDB потерпит неудачу. Будет вызван метод onabort() с событием в качестве аргумента. Событие будет содержать DOMException в свойстве ошибки. Проверка имени ошибки вернет QuotaExceededError.
Cache API
Попытка записать данные в Cache API при достижении лимита будет отклонена с QuotaExceededError DOMException.
Как работает очистка хранилища?
Веб-хранилища подразделяются на две категории, «автономные» и «управляемые». Автономное означает, что хранилище может быть очищено браузером без участия пользователя, однако оно менее устройчиво при длительном использовании, а также при наличии критических данных. Управляемые хранилища не очищаются автоматически при заполнении. Пользователь должен вручную очищать такие хранилища (через настройки браузера).
По умолчанию, веб хранилища (IndexedDB, Cache API и др.) относятся к категории автономных, что означает, что если не установлено ручное управление, браузер может самостоятельно очищать хранилище при наличии определенных условий, например, при заполнении.
Условия для очистки хранилища следующие:
Бонус: обертка из промисов над IndexedDB
IndexedDB — это низкоуровневое API, предполагающее определенную настройку перед использованием, которая может быть лишней при необходимости хранения простых данных. В отличие от большинства современных API, основанных на промисах, она основано на событиях. Обертка из промисов, такая как idb, скрывает некоторые мощные возможности данного хранилища, но, что более важно, она также скрывает его сложные внутренние механизмы (транзакции, версионирование).
Заключение
Времена ограниченных хранилищ и запросов разрешения пользователя на увеличение лимита канули в лету. Сайты могут эффективно хранить все ресурсы и данные, необходимые им для работы. С помощью StorageManager API вы можете определить, сколько памяти использовано и сколько еще осталось. А с помощью перевода хранилища в режим ручного управления, вы можете защитить данные от удаления.
Цифровая информация: как много мы ее создаем и где она хранится
Древние люди хранили информацию с помощью наскальных рисунков. Самые старые из них были сделаны 40 000 лет назад. В ходе эволюции и развития человечества, с зарождением первых языков и полноценной письменности, появились и новые варианты хранения информации, в частности фиксация данных на бумаге. Более чем на тысячу лет бумага оставалась главным накопителем информации.
Но за последние 150 лет ситуация кардинально изменилась. Человечество прогрессировало в эти годы куда стремительнее, чем раньше, и одним из важнейших изобретений в новейшей истории стала цифровая электроника.
С момента создания транзисторов в 1947 году и первого интегрированного микрочипа в 1956 жизнь людей принципиально поменялась. Человечество достигло невероятных результатов в плане развития компьютерных технологий, беспроводной связи, интернета, искусственного интеллекта, а вместе с тем медицины, генетики и космической отрасли.
Что не менее важно, цифровой прогресс повлек за собой изобретение новых видов накопителей данных, в частности компьютерных жестких дисков. Это изобретение значительно повлияло на подход людей к хранению и обработке информации. Переходным моментом стал 1996 год, когда цифровые носители стали дешевле в использовании, чем бумага.
Для хранения информации используются разные технологии. Самые распространенные: магнитные жесткие диски (HDD), оптические диски (CD, DVD, Blu-Ray) и полупроводниковые накопители (SSD, флеш-карты). Каждый вид по-своему важен и лучше остальных подходит для решения конкретных задач.
Полупроводниковые носители чаще используются в портативной электронике, на оптических дисках хранят медиаконтент (игры, музыку, кино), а магнитные накопители задействуют, когда нужно где-то содержать большой объем данных (на ПК и серверах в дата-центрах).
Все цифровые хранилища данных работают по одному принципу: информация хранится на дисках в виде единиц и нулей, также известных как «биты» (по 8 битов от байта). Диск поделен на определенное количество областей, каждой из которых присваивается логический нуль или единица. На текущий момент площадь области, которую занимает бит данных, составляет 30 нанометров. Поэтому современные накопители так сложны в разработке – приходится взаимодействовать с материалами, используемыми при создании накопителей, на атомном уровне.
Информации становится больше
Цифровые хранилища данных стали важной составляющей жизни человека и теперь буквально окружают нас со всех сторон. Увеличение количества производимой информации уже невозможно остановить. Каждый день население Земли генерирует 500 миллионов твитов, 294 миллиона электронных писем, 4 миллиона гигабайт данных в Facebook, 65 миллионов сообщений в WhatsApp и 720 000 часов нового контента в YouTube.
В 2018 году общее количество информации в сети составило 33 зеттабайта, то есть 33 триллиона гигабайт. Это количество выросло до 59 зеттабайт в 2020 году. Специалисты предсказывают рост до не укладывающихся в голове 175 зеттабайт уже к 2025 году. Один зеттабайт равен 8 000 000 000 000 000 000 000 бит.
Чтобы проще было визуализировать столь огромный объем данных, можно представить монетки номиналом в один фунт (по толщине они около 2.8 миллиметра). Один зеттабайт, «конвертированный» в фунтовые монетки, может превратиться в башню, которая бы 600 раз достала до звездной системы Альфа Центавра.
Где это все хранится?
Большая часть цифровой информации хранится в трех разных местах. Первое – все гаджеты и компьютеры на планете. Второе – крупные инфраструктуры (банки, государственные хранилища данных). Третье – дата-центры хостинг-провайдеров (AWS, Microsoft Azure, Timeweb и т.п.).
В мире существует как минимум 600 огромных дата-центров, каждый из которых насчитывает более 5000 серверов. 39% из них расположены в США, еще 30% в Китае, Японии, Великобритании, Германии и Австралии.
Самые крупные дата-центры находятся в Китае и США. Самый большой – China Telecom в Хух-Хото, его площадь составляет 994062 квадратных метров. На втором месте – The Citadel в Неваде, его площадь составляет 668901 квадратных метров, а энергопотребление – 815 мегаватт.
Каждый год люди строят десятки новых дата-центров, чтобы где-то хранить постоянно увеличивающийся объем информации. Если брать в расчет нынешние темпы, то через 150 лет количество бит на различных накопителях может превысить количество атомов на планете Земля. А через 110 лет на содержание дата-центров будет уходить столько же электроэнергии, сколько сейчас уходит на содержание всего человечества.
