Каждый интернет-проект должен где-то хранить данные для функционирования своего сайта. Если проект большой и таких данных довольно много, то и место хранения должно быть специализированным и хорошо оборудованным. Существуют различные системы хранения данных, такие как: File storage, Block storage, Object storage и Key-value storage.
Для того, чтобы определиться с выбором места хранения данных на выделенных серверах, нужно провести тестирование и анализ параметров хранилища. Для разных проектов могут потребоваться совершенно разные характеристики сервера, поэтому очень важно с ними разобраться. Ведь из-за неправильно сделанного выбора потерпело крах огромное количество ресурсов. В первую очередь следует разобраться со следующими пунктами:
- определить характеристики, которые необходимо учитывать для роста системы хранения вместе с ростом вашего проекта. Это очень важно, если проект нацелен на быстрый рост, ведь постоянно переносить его на новое место – слишком долго и затратно;
- разобраться, по какой причине выгоднее и надежнее отказоустойчивость на уровне программного обеспечения, нежели на уровне hardware;
- выяснить правильный порядок выполнения тестирования;
- узнать, как изменить IOPS на порядок, путем изменения всего одного параметра.
Для выбора выделенного сервера и проведения тестирования следует знать основные характеристики, требуемые от хорошей системы хранения, о них и пойдет речь в данной статье:
- отказоустойчивость;
- скорость восстановления информации;
- производительность, соответствующая требованиям вашего сайта.
Отказоустойчивость
Главное требования к системе хранения информации заключаются в том, чтобы она хранила большое количество информации, сохраняла их при любых обстоятельствах, давала к ним постоянный доступ и не теряла файлов. Важными параметрами являются не только производительность и цена, но также безопасность и надежность информации. Ведь какой бы высокой ни была производительность и выгодной цена, они теряют всякий смысл, если большая часть ваших данных постоянно теряется.
Для борьбы со сбоями и обеспечению отказоустойчивости применяют резервирование данных, возможное в двух разных уровнях: software или hardware.
Резервирование на уровне аппаратной части устройства часто применяется и дает хорошие результаты. Для большей надежности иногда применяют двойное резервирование, когда данные сохраняются сразу на 2 диска. Кратность резервирования можно увеличивать и дальше, ведь чем она выше, тем меньше вероятность потери данных, но и переусердствовать тут не стоит, так как объемы занимаемого места будут достаточно велики.
Software копирование данных менее популярно, но очень быстро развивается на сегодняшний день и в скором времени может перегнать своего конкурента по количеству резервируемых данных. Software резервирование отличается принципом работы. В данной ситуации, так как надежность железа ставится под сомнение, система резервирует данные на уровне ПО, храня их копии на различных физических носителях.
Преимущество такого резервирования состоит в меньших затратах на оборудование при тех же показателях отказоустойчивости. Еще одним положительным качеством такого решения можно назвать более простую оптимизацию, например, балансировка данных при их размещении на нескольких сайтах.
Хорошим примером является PStorage. Он не привязывается к определенному железу и работает на любых компьютерах. Такая архитектура допускает потерю любого сервера целиком. Это возможно, поскольку множественные копии данных хранятся на разных физических серверах в количестве не больше одной. Как правило, существуют три копии, чтобы обезопасить себя даже при потере двух серверов.
Скорость восстановления информации
Рассмотрим простую систему из двух дисков. Если один из дисков ломается, то система продолжает работать со вторым диском, но в этот момент она уязвима. Находиться в состоянии уязвимости может быть очень опасно, ведь этим могут воспользоваться хакеры. Поэтому нужно максимально быстро восстановить информацию.
Чем быстрее происходит восстановление резервных копий, тем ниже шанс, что какие-то файлы будут утеряны. Для восстановления информации рабочему диску нужно передать ее на новый, работоспособный. Сделать это можно не быстрее, чем скорость записи этого диска, то есть около 100 Мб в секунду для HDD. При этом, скорость станет еще ниже, если диск находится под внешней нагрузкой.
Поэтому намного проще оптимизировать данный процесс на software уровне. Например, в случае PStorage при поломке диска репликация информации, распределенной по всему кластеру, включается автоматически, и не нужно ждать замены диска администратором.
Производительность и ее тестирование
Основные принципы тестирования, основанные на большом опыте:
- Важно решить, что именно требуется вашему проекту от системы хранения информации и в каких количествах. Очень часто используют Parallels Cloud Storage, чтобы организовать кластер высокой доступности для контейнеров и виртуальных машин. Тогда нагрузка на кластер идет с каждого сервера.
- Не стоит применять файлы с хорошей сжимаемостью. Большинство систем хранения обладают специальной оптимизацией для обработки нулевых данных. В таком случае запись нулей на диск происходит в более короткие сроки, чем запись случайных файлов.
- Для тестирования используйте случайные файлы. Заранее сгенерируйте такие файлы, чтобы процесс генерации не влиял на процесс тестирования.
- Обращайте внимание на то, на каком расстоянии находятся разделенные компоненты. При высоких нагрузках могут возникать задержки.
- Постарайтесь не делать тест слишком коротким. Чем он дольше, тем более полную и корректную информацию вы сможете получить.
- Чтобы усреднить все показатели и избавиться от случайных отклонений проведите одинаковый тест многократно.
- Для нагрузки при тестировании нужно использовать большие объемы информации, чтобы результат тестирования был наиболее объективен.
- Проводите сравнение только подобных друг другу систем, которые используют одинаковое железо. Тогда сравнение будет более корректным.
Итог
Следуйте основным правилам тестирования и следите за важными показателями системы хранения, которые описаны выше. Помните, что для выделенного сервера лучше настроить резервирование данных на software уровне, ведь он уменьшает затраты и повышает надежность.