Уважаемые гости и пользователи форума!
Чтобы видеть ссылки на форуме - надо зарегистрироваться и иметь 1 пост на форуме. Для этого есть КУРИЛКА и там тема Здрасти.

Бюджетный кластер высокой доступности - возможно ли?

Обсуждение компьютерного железа, помощь в выборе оптимальной комплектации под необходимые тип сервера и его условие работы.

Модераторы: rewuxiin, kulia

Правила форума
Условием использования нашего форума, является соблюдение настоящих Правил форума.

Ваш вопрос может быть удален без объяснения причин, если на него есть ответы по приведённым ссылкам, а вы рискуете получить предупреждение.
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Бюджетный кластер высокой доступности - возможно ли?

08 мар 2012, 05:24

Имеется три компьютера:
DualCore Intel Pentium E2180, 2000 MHz (10 x 200)
GIGABYTE GA-EG41MFT-US2H
4 х Samsung M378B5773CH0-CH9 2 Гб DDR3-1333 DDR3 SDRAM
Western Digital WDC WD6402AAEX-00Y9A0 640 Гб SATA 6Gb/s
Intel Celeron D 336, 2800 MHz (21 x 133)
Asus P5KPL-AM SE + гигабитная D-Link DGE-528T
2 х Kingston 2 Гб DDR2-800 DDR2 SDRAM
Seagate ST3500418AS 500 Гб SATA 3Gb/s
А сейчас внимание, не смейтесь, я серьезно!!! :-D :-D :-D
HP/COMPAQ Deskpro 5120 (Desktop) - чудом сохранившийся
На борту Intel Pentium 120MHz и 56mb бог знает какой памяти
Полностью рабочий, Win 95 на нем просто летает ибо HP
Идея такова: замутить кластер. На E2180 + 8Gb ddr3 сделать ведущий узел, на D 336 + 4Gb ddr2 запасной узел, а менеджер кластера на эйчпишном серваке. Для последнего любое участие в современных системах паноптикум, но если подумать - что уж больно такого грандиозного требуется от менеджера кластера? Проверять хартбит узлов и переключать траффик?! Я думаю его за глаза хватит. Основные сервера оснащены гигабитными картами, имеется гигабитный D-link DGS-1024D и роутер D-Link DIR-100 (плюс планируется покупка второго роутера и интернета). Так же имеется киловатный ИБП, запасной коммутатор TP-LINK TL-SF1005D и куча коммутационного оборудования. Плюс донор для возможного изменения конфигураций:
QuadCore Intel Core 2 Quad Q6600, 2400 MHz (9 x 267)
Asus Commando
8 х Samsung M3 78T5663EH3-CF7 2 Гб DDR2-800 DDR2 SDRAM
Seagate ST3500320AS 500 Гб SATA 3Gb/s
Донор является моим рабочим компьютером и по большому счету дербанить его не хочется, но если это даст неоспоримый бонус - придется.

В общем и целом - хочется сделать кластер высокой доступности. Т.е. дублировать все элементы и управлять распределением нагрузки + переключать траффик если один из узлов дает сбой. Все это планируется упаковать в шкаф на 24 юнита (24 ибо будет еще файловый сервер + выделенный под mysql + второй гигабитный коммутатор и все сервера в 4U). Кластер собирается под хостинг. Никаких VDS или VPS не планируется, тупо шаред хостинг для собственных корпоративных клиентов. Однако хочется сделать его отказоустойчивым, масштабируемым и что называется "на уровне". Какие можете дать советы в плане программного обеспечения и возможно изменения конфигурации серверов? Чем организовать кластер? Какие конкретно сервера под веб и почту? Какие ОС и прочее? Как лучше организовать резервное копирование? Чем распределять линии провайдеров? Как обрезать траффик клиентов по группам? Чем лучше производить мониторинг использования ресурсов по каждому клиенту (их довольно много и в ручную каждого мониторить не айс)? Как организовать биллинг (не обязательно с онлайн проплатами но для ведения документации и слежения за оплатами он нужен)? Возможно есть подводные камни и нюансы о которых я не спросил, но все же хотелось бы услышать. Самый главный нюанс - бюджет остался не то что бы маленький, его по сути вообще больше нет. Максимум на второй DIR-100 и пару мелочей. Так что платное программное обеспечение и дополнительное железо не предлагать - бессмысленно. Ну не считая уже имеющихся лицензий Windows Server 2008 Enterprise (смежная лицензия на 64 и 32 бита), Microsoft SQL Server 2008 (так же смежная на 64 и 32) и Microsoft Visual Studio 2008 Standart Edition (может использоваться для компиляции Open Source проектов под Win 32 Или 64). Заранее большое спасибо за советы.
mini-server
Контактная информация:
Откуда: г. Москва
Сообщения: 1293
Зарегистрирован: 12 июл 2010, 16:11

Re: Бюджетный кластер высокой доступности - возможно ли?

08 мар 2012, 10:16

Я конечно все понимаю! Но зачем для сервера на QuadCore Intel Core 2 Quad делать зеркало на Intel Pentium 120MHz.
  1. Не хватило денег на дешевый БУ системник за 1000руб.
  2. Тормоза в паре Intel Pentium 120MHz Вам уже обеспечены
  3. Говорите про серьезную сеть о дублировании сервера а в дублю добавляете железо не быстрее чем современный телефон (Galaxy S2 - покажи им как надо работать! ;D )
Забыл вчера кота покормить. Утром просыпаюсь, чем-то гремит на кухне... наверное готовит...
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

08 мар 2012, 14:34

DualCore Intel Pentium E2180, 2000 MHz (10 x 200)
GIGABYTE GA-EG41MFT-US2H
4 х Samsung M378B5773CH0-CH9 2 Гб DDR3-1333 DDR3 SDRAM
Western Digital WDC WD6402AAEX-00Y9A0 640 Гб SATA 6Gb/s
и
Intel Celeron D 336, 2800 MHz (21 x 133)
Asus P5KPL-AM SE + гигабитная D-Link DGE-528T
2 х Kingston 2 Гб DDR2-800 DDR2 SDRAM
Seagate ST3500418AS 500 Гб SATA 3Gb/s
это 2 сервера основных заменяющие друг друга.

а вот это:
HP/COMPAQ Deskpro 5120 (Desktop) - чудом сохранившийся
На борту Intel Pentium 120MHz и 56mb бог знает какой памяти
Полностью рабочий, Win 95 на нем просто летает ибо HP
тупо переключатель. Его задача проверять доступность узлов в кластере и при необходимости перенаправлять запросы. Этакий автоматически перенастраеваемый роутер.

А вот это:
QuadCore Intel Core 2 Quad Q6600, 2400 MHz (9 x 267)
Asus Commando
8 х Samsung M3 78T5663EH3-CF7 2 Гб DDR2-800 DDR2 SDRAM
Seagate ST3500320AS 500 Гб SATA 3Gb/s
Это вообще не сервер, это просто компьютер мой настольный. Из которого я готов чем-то пожертвовать в пользу серверов, если это даст неоспоримый плюс. В противном случае я хотел бы его не дербанить..
mini-server
Контактная информация:
Откуда: г. Москва
Сообщения: 1293
Зарегистрирован: 12 июл 2010, 16:11

Re: Бюджетный кластер высокой доступности - возможно ли?

09 мар 2012, 11:14

Kujbor писал(а):[...]
а вот это:
HP/COMPAQ Deskpro 5120 (Desktop) - чудом сохранившийся
На борту Intel Pentium 120MHz и 56mb бог знает какой памяти
Полностью рабочий, Win 95 на нем просто летает ибо HP
тупо переключатель. Его задача проверять доступность узлов в кластере и при необходимости перенаправлять запросы. Этакий автоматически перенастраеваемый роутер.
[...]
Тогда это многое объясняет!
Забыл вчера кота покормить. Утром просыпаюсь, чем-то гремит на кухне... наверное готовит...
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

12 мар 2012, 02:15

Неужели ни у кого нет вариантов? Я очень далек от системного администрирования, жизнь заставила самостоятельно заниматься вопросом технического обеспечения работы хостинга... Понравились варианты на основе Heartbeat и DRBD типа такого: Для просмотра ссылок Вы должны быть авторизованы на форуме.. Из плюсов тот факт что третий сервер вообще не нужен задействуются только два узла. Так же радует что можно назначить ведущий узел, на который будут мигрировать все сервисы в случае доступности обоих узлов (ведь у меня серверы не равнозначные по мощности и лучше обрабатывать запросы более мощным сервером). Только вот не очень хорошо понимаю, как в таких системах, при отказе ведущего сервера, обстоит дело с данными, которые были обработаны ведущим сервером, но не были реплицированны на запасной. Т.е. простейший пример - в следствии каких-то манипуляций, поле в таблице MySQL было изменено и записано на диск ведущего сервера, эта информация не была скопирована на запасной узел и в этот момент ведущий узел отключается. На запасном (ведомом) сервере образ из бэкапа монтируется, сервисы запускаются, сервер перенимает общий IP кластера - все тип-топ, но поле в таблице не изменено. Бог бы с ним, возможно не критично, но что будет когда основной сервер снова включится?! Мне немного непонятна эта ситуация. Кроме того не радует необходимость покупать два дополнительных диска по пол терабайта и нуль-модемный кабель в нагрузку. Кроме того, в случае, когда доступны оба узла, хотелось бы разделить нагрузку - обрабатывать запросы на ведущем сервере, а MySQL-сервер вынести на ведомый узел, и обрабатывать запросы к web-серверу и серверу бд на одном узле только в случае, когда доступен лишь один узел. Понятное дело что Heartbeat при таком раскладе остается полезной утилитой, а вот DRBD наверное отпадает...
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

12 мар 2012, 04:38

Для просмотра ссылок Вы должны быть авторизованы на форуме. - потрясающая подробная статья, полностью раскрывающая тему кластеров высокой доступности. Впрочем, статья расстроила. На основе прочитанного могу сделать вывод - кластер высокой доступности на основе бюджетного аппаратного обеспечения есть не более чем баловство и для серьезных целей не годится. Наиболее важные проблемы это описанный мною косяк с данными которые имеются на ведущем узле и отсутствуют на ведомом при отказе а затем включении ведущего узла (на серьезных кластерах проблема синхронизации решается установкой внешнего RAID-хранилища с двумя контроллерами рейда и внешним SCSI интерфейсом - до апупения не дешевая штука); ситуации когда система не отключилась/сломалась/потеряла связь/дала сбой, а "подвисла" (что вызывает запуск служб на ведомом сервере), а затем неожиданно "отвисла" и резко начала совершать операции записи на общее файловое хранилище (вне зависимости имеется в виду внешнее RAID хранилище или виртуальный сетевой RAID-массив создаваемый DRBD) - это вызывает серьезные проблемы, вплоть до полного разрушения файловой системы (на серьезных серверах проблема решается установкой выключателя питания, управляемого через COM порт - если ведомый сервер регистрирует отказ ведущего узла, то он страхуется от конфликтов выключая питание ведущего узла). Вот две основных проблемы, которые бюджетный кластер решить не может. В обоих случаях данные частично или полностью разрушаются. Понятное дело что на то есть бэкапы, но зачем нужен кластер, который нужно еще и бэкапить?!?))) Посему вопрос конечно не снимается (быть может кто-то сможет предложить интересный вариант), но переводится в русло "как можно хитро устроить систему (имея три описанных мною компьютера) так, что бы было возможно быстро восстановить работу из бэкапа, даже если слетела сама операционная система (возможно какой-то образ жесткого диска с установленной и настроенной системой и сервисами, который можно быстро подмонтировать, а затем восстановить более точный "снапшот" клиентских данных (файлов и бд) из друго бэкапа (с более простым и более оперативным способом создания и последующего развертывания)?" Заранее спасибо за ответы и мнения.
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

12 мар 2012, 08:27

В ходе экспериментов выявил ужасное неудобство необходимости вытаскивать сервер, подключать к нему клавиатуру и монитор, cd-rom питание, и сеть каждый раз когда возникает необходимость переустановить систему... Может есть какой-то способ удаленно сделать некий снапшот всей файловой системы диска (а лучше вообще образ диска) и в дальнейшем при необходимости так же удаленно его восстановить? Я вот до удаленного способа не добрался, но два направления у меня в этом смысле есть. Оба связаны с флешкой (благо ее установить не проблема без демонтажа сервера).

Вариант первый: сделать кастомный дистрибутив - стандартный net_inst плюс файл ответов который полностью автоматизирует установку системы и ряда приложений + дополнительные порты в коллекции портов. Выставить в биосе приоритет загрузки с flash-накопителя и в общем-то все! Пока все работает - отлично! Как только возникает необходимость переустановить систему на какой-то более базовый вариант - выключаем сервер, вставляем флэшку, включаем сервер, загрузка автоматом проходит с flash-накопителя, с которого так же автоматом ставится система + некоторый набор заранее выбранных пакетов с настройками...

Вариант второй: каким-то макаром установить систему еще и на флэшку. Ограничиться ssh-сервером и набором стандартных утилит. Загрузиться с флэшки, настроить на ней все параметры сети, создать образ жесткого диска и скинуть на эту флешку либо другой накопитель, затем извлечь все лишние накопители. Выставить в биосе точно так же приоритет загрузки с флэш. Теперь при необходимости восстановить ранее сохраненный образ системы достаточно точно так же выключить сервер, вставить флэшку и затем включить его. Принцип тот же, но теперь нужно (можно) подключиться через ssh и вручную выбрать образ для восстановления, что позволяет использовать несколько образов на разные случаи.

Проблема в том что ни то ни друго я сделать не могу... Не знаю, не умею... Подскажите плиз...
mini-server
Контактная информация:
Откуда: г. Москва
Сообщения: 1293
Зарегистрирован: 12 июл 2010, 16:11

Re: Бюджетный кластер высокой доступности - возможно ли?

12 мар 2012, 14:00

Ох Вы и написали!
Я как то задумывался над процессом такой работы серверов, поэтому со своей стороны могу предложить только догадки:
http://www.youtube.com/watch?v=G4V2y7MHKuk
Есть специальное оборудование для удаленного подключение монитора, мышки и клавиатуры по сети LAN. Но я предполагаю что крупные хостинг компании, такие как Ucoz могут использовать универсальный диск (автозагрузчик), для быстрой установки.
http://www.youtube.com/watch?v=8ujCsTD9qPg&feature=related
Это конечно круто! Но все же мое мнение, что для домашнего сервера такие навороты не нужны. Что косатется быстрого развертывания системы, такие функции уже реализованы в некоторых Web панелях управления хостингом. Например Kloxo. Она не просто выполняет резевное копирование отдельных сайтов, Kloxo может выполнить копирование всей системы вместе с сайтами даже на удаленный сервер, что позволит с легкостью перенести все данные с этой копии на другой сервер путем простого восстановления. Обратите внимание, что поддерживается режим резервного копирования по FTP.

Если же Вы ищите реализацию в 2-х паралельно работающтх серверах (зеркала), мне попадалось, что то похожее: Для просмотра ссылок Вы должны быть авторизованы на форуме..

Принцип как я понимаю:
  1. 2 сервера с 2 сетевыми картами в каждом
  2. серверы связаны между собой по LAN
  3. вторые сетевые карты используются как ns1 и ns2 на разных IP
  4. в зависимости от нагрузки будет задействован ns2 как второстепенный канал, при снижении нагрузки, все запросы пойдут на ns1
напомню, что это - мое предположение о конструировании необходимой Вами сети.
Лично моей мнение, это использовани RAID массива в самом сервере + ежедневное резервное копирование (типа Kloxo) на отдельный FTP сервер. Желательно при копировании системы использовать отдельный LAN канал (в системном блоке должно быть предусмотрена отдельная сетевая карта не нагружающая интернет канал).
Забыл вчера кота покормить. Утром просыпаюсь, чем-то гремит на кухне... наверное готовит...
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

12 мар 2012, 20:47

Это что касается развертывания уже готового хостинга и требует наличия уже установленных пакетов и панели. Мне же, для тестирования различных конфигураций требуется быстрая установка самой системы и пакетов без подключения монитора cd-rom клавиатуры и прочего. У меня была идея установить флэшку, установить на нее систему, выставить приоритет загрузки системы с флэш-накопителя, загрузиться с флэшки, поднять ssh-сервер и создать образ диска. После этого для восстановления системы достаточно вставить флешку и перезагрузить компьютер. После чего загрузится система уже не с диска а с флешки и на ней будет ssh-доступ с помощью которого можно восстановить систему на жестком диске из образа. Но почему-то с флэшки установленная система не грузится. Устанавливается отлично, а при загрузки пишет что не удается найти разделы. Как правильно установить систему на флэш-накопитель так, что бы с него можно было потом нормально загрузиться?
Аватара пользователя
SinglWolf
Контактная информация:
Откуда: Башкирия
Сообщения: 2618
Зарегистрирован: 23 янв 2012, 22:11

Re: Бюджетный кластер высокой доступности - возможно ли?

13 мар 2012, 06:47

Kujbor писал(а):Это что касается развертывания уже готового хостинга и требует наличия уже установленных пакетов и панели. Мне же, для тестирования различных конфигураций требуется быстрая установка самой системы и пакетов без подключения монитора cd-rom клавиатуры и прочего. У меня была идея установить флэшку, установить на нее систему, выставить приоритет загрузки системы с флэш-накопителя, загрузиться с флэшки, поднять ssh-сервер и создать образ диска. После этого для восстановления системы достаточно вставить флешку и перезагрузить компьютер. После чего загрузится система уже не с диска а с флешки и на ней будет ssh-доступ с помощью которого можно восстановить систему на жестком диске из образа. Но почему-то с флэшки установленная система не грузится. Устанавливается отлично, а при загрузки пишет что не удается найти разделы. Как правильно установить систему на флэш-накопитель так, что бы с него можно было потом нормально загрузиться?
А чем Вас Live-CD, например, той же Ubuntu или Debian не устраивает? Не хотите с CD-привода грузиться - разверните на флешке. Всё прекрасно работает. У меня есть наработки и этом плане, и в плане установки Linux на flash-накопитель. Создайте отдельную тему и при наличии свободного времени выложу инструкцию.
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

13 мар 2012, 12:12

Live-CD не устраивает тем, мне нужно обойтись без установки монитора клавиатуры и мыши. А для этого необходимо что бы на системе установленной на флешке был поднят ssh-сервер. А таких готовых Live-CD я не встречал, как и простых способов создания подобного. По большому счету, этот вариант (с флэшкой) отпал по простой причине - после извлечения флэшки из системы, настройки bios, связанные с ней, пропадают, и после повторного ее подключения и последующей перезагрузки, флэшка теряет приоритет в качестве загрузочного устройства. Следовательно это не позволяет избежать подключения клавиатуры и монитора и соответственно не решает мою проблему. Не знаю уже как и быть... Установочную флэшку я сделал с помощью замечательной утилиты unetbootin, решив таким образом проблему с инсталяцией привода, а вот монитор и клавиатуру подключать все же приходится. Пробовал делать файл ответов для автоматической установки Debian, но так и не разобрался почему он не работает. Все инструкции по его созданию (включая мануалы на офф сайте Debian) написаны для 5й версии и видимо не совместимы с 6й... :(
mini-server
Контактная информация:
Откуда: г. Москва
Сообщения: 1293
Зарегистрирован: 12 июл 2010, 16:11

Re: Бюджетный кластер высокой доступности - возможно ли?

13 мар 2012, 19:08

Kujbor писал(а):Live-CD не устраивает тем, мне нужно обойтись без установки монитора клавиатуры и мыши. А для этого необходимо что бы на системе установленной на флешке был поднят ssh-сервер. А таких готовых Live-CD я не встречал, как и простых способов создания подобного. По большому счету, этот вариант (с флэшкой) отпал по простой причине - после извлечения флэшки из системы, настройки bios, связанные с ней, пропадают, и после повторного ее подключения и последующей перезагрузки, флэшка теряет приоритет в качестве загрузочного устройства. Следовательно это не позволяет избежать подключения клавиатуры и монитора и соответственно не решает мою проблему. Не знаю уже как и быть... Установочную флэшку я сделал с помощью замечательной утилиты unetbootin, решив таким образом проблему с инсталяцией привода, а вот монитор и клавиатуру подключать все же приходится. Пробовал делать файл ответов для автоматической установки Debian, но так и не разобрался почему он не работает. Все инструкции по его созданию (включая мануалы на офф сайте Debian) написаны для 5й версии и видимо не совместимы с 6й... :(
А в чем проблема подключить 1 раз клавиатуру для установки системы, у Вас же не хостинг компания, я вон свой на kloxo как запустил так и работает даже не перезагружался ни разу.
Забыл вчера кота покормить. Утром просыпаюсь, чем-то гремит на кухне... наверное готовит...
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

16 мар 2012, 12:32

Я просто часто переустанавливаю системы сейчас. Допустим установил систему по минимуму по той же инструкции "Идеальный сервер Debian+ISPConfig", а потом пытаюсь доставить какие-то сервисы, кеширующие программы, Nginx и прочее. И часто захожу в тупик и не имею возможности вернуться назад. Было бы чудесно скинуть куда-то образ диска и восстанавливаться с него при необходимости. Причем удаленно, что бы не вытаскивать сервер каждый раз и не подключать к нему все девайсы...
Аватара пользователя
SinglWolf
Контактная информация:
Откуда: Башкирия
Сообщения: 2618
Зарегистрирован: 23 янв 2012, 22:11

Re: Бюджетный кластер высокой доступности - возможно ли?

16 мар 2012, 13:14

Kujbor писал(а):Я просто часто переустанавливаю системы сейчас. Допустим установил систему по минимуму по той же инструкции "Идеальный сервер Debian+ISPConfig", а потом пытаюсь доставить какие-то сервисы, кеширующие программы, Nginx и прочее. И часто захожу в тупик и не имею возможности вернуться назад. Было бы чудесно скинуть куда-то образ диска и восстанавливаться с него при необходимости. Причем удаленно, что бы не вытаскивать сервер каждый раз и не подключать к нему все девайсы...
Учитесь делать бэкапы. В инете море инфы по этому поводу.
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

16 мар 2012, 17:40

Насколько я понимаю, восстановить из бэкапа систему целиком удаленно невозможно стандартными методами (т.е. используя саму систему). Разве нет?
Аватара пользователя
SinglWolf
Контактная информация:
Откуда: Башкирия
Сообщения: 2618
Зарегистрирован: 23 янв 2012, 22:11

Re: Бюджетный кластер высокой доступности - возможно ли?

16 мар 2012, 18:34

Kujbor писал(а):Насколько я понимаю, восстановить из бэкапа систему целиком удаленно невозможно стандартными методами (т.е. используя саму систему). Разве нет?
А в самой системе (Вам же откат нужен, а не действительно восстановление после краха системы) запустить самописный скрипт на восстановление системы из бэкапа что мешает? Скрипт отработает, система перезагрузится и, вуаля, как новая. :-)
Вот информация к размышлению. Для просмотра ссылок Вы должны быть авторизованы на форуме.
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

26 мар 2012, 13:40

Таким образом не удастся заменить систему на другую... Вот если бы можно было как-то организовать совместный доступ 2 компьютеров к 1 массиву жестких дисков, тогда достаточно было бы выключить один компьютер и включить второй. На втором компьютере был бы свой жесткий диск с отдельной системой бэкапами основного массива. С этого компьютера восстанавливать данные массива (например установленную и настроенную систему в образе), затем выключаем этот компьютер и снова включаем первый (основной) - система полностью установлена. При наличии Wake On Lan все можно делать даже удаленно :) У меня и компьютер такой есть - Pentium 166 mmx, 56 mb ram, hdd1 2 gb, hdd2 80gb. Думаю что он самое оно для этой цели. Только вот как диск (или массив дисков) двум компьютерам раздать. Такое возможно с помощью дорогостоящего оборудования, а вот бюджетно как-то обойтись можно?
Аватара пользователя
SinglWolf
Контактная информация:
Откуда: Башкирия
Сообщения: 2618
Зарегистрирован: 23 янв 2012, 22:11

Re: Бюджетный кластер высокой доступности - возможно ли?

26 мар 2012, 14:02

Kujbor писал(а):Таким образом не удастся заменить систему на другую...
Почему это нельзя? Пишете скрипт (мысли навеяны последним постом о двух компьютерах) на первом компьютере: создать бекап по заданной схеме и после отправить (по lan, ftp) сжатый бекап второму компу (если нужно, копию оставить). На втором компе пишете аналогично, но с отправкой на первый. Как-то так :-) . Есть ещё clonezilla, улётная штука по созданию\восстановлению бекапов по самым разным ОСям, файловым системам, дискам, с возможностью писать сценарии, с установкой по сети при влючении компа (по PXE) . Сам ей сделал бекап с виртуального образа диска сервера и развернул на реальной машине без лишних телодвижений и танцев с бубном. *THUMBS UP* Бубен даже доставать не пришлось. :-D
Аватара пользователя
SinglWolf
Контактная информация:
Откуда: Башкирия
Сообщения: 2618
Зарегистрирован: 23 янв 2012, 22:11

Re: Бюджетный кластер высокой доступности - возможно ли?

28 мар 2012, 09:42

Есть ещё вариант, но по-сложнее. Сложность скорее не в реализации, а в его описании. :-) Но попробую рассказать так, чтобы было понятно с первого раза. И так, есть два компьютера с одинаковыми ОС и ПО. Пока есть доступ к обоим компам - проблем нет, т.к. всё работает. Допустим, что повисла (слетела или ещё что-то) система на компе под номером 1. Выключаем и влючаем на нём питание удалённо. Первым и рабочим пунктом в загрузке должна быть "загрузка по сети" (Второй комп у нас работает нормально и на нём крутится маленький серверок для первого компа), Загрузится оболочка в которой можно организовать всё что угодно - зависит от поставленной задачи и фантазии. Будем считать этот вариант рабочим - удалённый доступ к ОС и ресурсам второго компа. Если у второго компа едет крыша, то у перврго компа не получится загрузиться по сети и он попытается загрузиться со своего жёсткого диска. Вот тут и нужно организовать или автоматическое восстановление системы из последнего бекапа и\или удалённое передёргивание питания у второго компа. Опять же всё зависит от поставленной задачи. Для второго компа проделать то же самое что и для первого. Если всё настроить правильно - получится такая связка. Первый комп работает сервером для второго, переодически отправляя на его винт бекапы своей системы. Второй же просто следит за работой первого. Как только Первый загибается, второй перегружается с ОС первого компа, потом передёргивает питание у первого компа и продолжает работать в нормальном режиме переодически проверяя состояние первого компа и посылая админу сообщения на емайл о сбое в системе(для примера). Как-то так. Если ничего не понятно - извиняйте. Сам сначала не понял что написал. :-D . А если серьёзно, то спрашивайте. Попробую объяснить непонятное место. *DRINK*
Аватара пользователя
Kujbor
Контактная информация:
Сообщения: 40
Зарегистрирован: 24 фев 2012, 10:36

Re: Бюджетный кластер высокой доступности - возможно ли?

03 апр 2012, 00:40

Нет я Вас понял прекрасно, это и есть кластер во всей красе о котором я говорил. Именно так он и работает. Есть только две проблемы, но они убивают весь интерес к такой реализации. Первая заключается в том, что синхронизация файлов между двумя узлами (серверами) идет не в режиме реального времени, а с задержкой. В результате, предположим, на активный сервер один шла какая-то информация (какой-то запрос), предположим абстрактно это был ряд чисел 0-1-2-3-4-5-6-7-8-9. Предположим что сервер завис на числе семь, т.е. на ведущем сервере записана комбинация 0-1-2-3-4-5-6-7. В виду того что синхронизация выполняется с задержкой, на ведомом узле записалось только часть переданной комбинации - допстим - 0-1-2-3-4-5. После чего ведомый компьютер отключает ведущий по таймауту (так как тот завис) и продолжает принимать запросы, причем на нем из нашего пакета имеется ряд 0-1-2-3-4-5 и прием идет дальше. В результате мы получаем на ныняшнем ведущем компьютере уже комбинацию 0-1-2-3-4-5-a-b-c-d и так далее. При повтороном включении первого сервера, он постарается выполнить синхронизацию и напорется на разницу в имеющихся данных, причем не такую когда на одном сервере данные есть, а на другом нет (в таком случае ведомый сервер просто скопировал бы недостающие данные), а ситуацию когда на обоих узлах есть данные, причем разные. В таком случае, по документации, администратору предлагается решить конфликт вручную. И в случае малого объема данных это вполне допустимо, поэтому система и существует, но как быть если в тот момент было открыто несколько сотен или даже тысяч соединений и львиная доля запросов вели запись в базу данных? Такой конфликт хрен разрешишь вручную. Единственный вариант сделать откат, но это не есть хорошо настолько, насколько это вообще возможно. В случае множественных запросов применят единое хранилище данных (одно на оба сервера), но оно ОЧЕНЬ не хило стоит. Я видел варианты по примерно полторы тысячи долларов минимум. Может плохо искал, утверждать не буду, но в любом случае для домашнего сервера это не приемлемая цена (даже если она в 2-3 раза ниже того что я видел). Вторая проблема это то что вы называете "передергиванием" :) "Передергивает" севера специальное устройство удаленного управления питанием. Цену не узнавал, но опять же думаю она не малая. А если ведомый сервер не отключать, то остается лишь молиться что сбой вызван отказом его системы, а не подвисанием. В противном случае когда он "отвиснет", он начнет писать данные на то же хранилище что и ведущий сервер (а ведь виртуальное nfs-устройство используемое для синхронизации по сути является единым хранилищем, хоть и находится на разных дисках разных серверов), и это однозначно вызовет порчу данных и скорее всего без возможности восстановления. В общем вы описали как раз ту систему про которую писал я, и которая по причине своей не идеальности и не надежности (без покупки дополнительного оборудования) была признана мною совершенно не пригодной (лично для меня и моих целей и задач). Но большое спасибо за участие в моей проблеме. Которая кстати говоря по сей день не решена...
Аватара пользователя
SinglWolf
Контактная информация:
Откуда: Башкирия
Сообщения: 2618
Зарегистрирован: 23 янв 2012, 22:11

Re: Бюджетный кластер высокой доступности - возможно ли?

03 апр 2012, 09:23

Всё упирается в конкретную задачу и, естественно, в цену её реализации. Если информация, хранящаяся на сервере (серверах) дороже цены оборудования, то скупость вылезет боком. А если это не так существенно, то нужно сделать приоритет резервирования данных. В зависимости от частоты запросов на запись и чтение.

Вернуться в «Выбор сервера и оборудования»