GD Star Rating
loading...
loading...
Добрейшего утречка.
Задумал в своей конторе полностью перековырять серверную инфраструктуру. Контора небольшая, порядка 40 компов и с десяток серверов (vmware esxi, nix), но хочется сделать все по уму. В связи с чем хотелось бы обсудить схему построения всего добра. Что есть, что требуется и как я себе это вижу инсайд
Итак что требуется (деление на сервера условное, в скобках указано что используется сейчас):
Сервер №1
1) Маршрутизация 3х интернет каналов (iproute2):
а) интернет для сотрудников
б) почтовый и веб трафик
в) безлимит для избранных
2) Межсетевой экран (iptables)
3) Разграничение использования интернета, статистика посещения, антивирусная и контент-фильтрация, приемлимая веб-морда для просмотра статистики и прочие пряники (squid3+clamav+lightsquid+apache2)
4) DNS (bind)
5) VPN (openvpn)
6) DHCP (dhcp3)
Сервер №2
1) Корпоративная почта (exim+courierIMAP+spamassasin+clamav):
а) POP, SMTP, IMAP
б) Антивирус и антиспам
в) Веб морда (не реализовано)
Сервер №3
1) MySQL (mysql)
2) Мониторинг (не реализовано)
Сервер №4
1) Веб-сервер (nginx+php-cgi+memcached)
2) FTP (proftpd)
Сервер №5
1) Видеонаблюдение (zoneminder+apache2)
Сервер №6
1) Файловый сервер
а) разграничение прав доступа (acl)
б) шифрование данных (dmcrypt)
в) Ключевой носитель (ключи с gpg шифрованием на флешке+шифрованный скрипт для автомонтирования раздела при загрузке системы)
г) Сетевая корзина (samba)
д) Учет использования (samba)
2) Резервное копирование (централизованной реализации нет)
Сервер №7
1) Виртуализация windows систем (vmware server 2, vmware esxi 4.1)
На виртуалках ничего интересного особо нет: AD+DNS, GP, WSUS, TerminalServer, Citrix и различные пользовательские приложения: 1C, CRM и прочее.
Для всех серверов нужно реализовать мониторинг, резервное копирование и хочется связать их воедино либо с AD, либо с OpenLDAP.
: а ты сами серваки будешь виртуализировать и отказоустойчивать? Сам сейчас думаю, каким образом максимально простым способом провернуть это со своими серваками.
Давай так – сколько у тебя на это денег?
Я так понимаю, всякие винды тебе нет смысла советовать, да?
Я так и не могу определиться чего взять за основу центрального ядра системы. Большинство машин в офисе на win и совсем небольшой процент сидит на ubuntu. Плюсы AD с политиками очевидны, но и openldap тоже не лыком шит.
Если делать на openldap, то есть мысль поднять слабенький кластер из двух нодов на heartbeat+drdb и повесить на него openldap, dns, dhcp, mysql, мониторинг.
Отдельный сервер маршрутизации с прокси и привязкой к ldap. Реализация: iptables, iproute2, squid3+havp+clamav+sams+openvpn
Почтовый сервер: postfix+dovecot+spamassasin+clamav+web морда
Веб сервер думаю остается без изменений, так как реализовано сейчас, ну разве что добавятся плюшки типа мониторинга и прочего
Видеонаблюдение: zoneminder всем устраивает, кроме аццки тяжелой веб морды, которая начинает лагать при доступе с 3-4 компов одновременно.
Что использовать в качестве сервера резервного копирования? Смотрю на bacula, но до конца так и не определился.
Также не знаю что заюзать в качестве мониторинга состояния nagios, cacti? Что будет полезнее в качестве опыта, для меня сейчас это на первом месте.
Файловая помойка остается с текущей реализацией, наверно.
В общем готов выслушать умных людей, критика, комментарии приветствуются. И да, я – нуб))
И также интересует что сейчас предпочтительней использовать из дистрибов? В настоящий момент все вертится на debian и gentoo. Как вам centos? Чем лучше хуже?
И что скажете по поводу виртуализации? Оставить то что есть или рассмотреть варианты c kvm, xen, php-virtualbox?
: делать буду на готовом, благо серверов прилично и есть на что заменить в случае чего. По деньгам даже не думал, но в случае надобности смогу убедить руководство. По виндам я шарю на уровне поднять домен, настроить политики, обновления, терминалки ну и гуглить в случае проблем
: виртуализировать планирую только виндовые системы, для остального в принципе хватает железа в наличии. Но если честно не задумывался о полной виртуализации. Для того чтобы все нормально виртуализировать желательно иметь надежные серваки с удаленным управлением и плюшками, а в наличии имееются самосборные серванты ценой до 60к. Отказоустойчивость… Как много в этом звуке… И как мало об этом думает руководство. Поэтому даже не знаю что сказать по этому поводу 🙁
Если заинтересует вариант с ESXi, виндами в качестве ядра и дебианом на подхвате – обращайся. 🙂
имхо для унификации схемы:
1. маршрутизатор остается на отдельной тачке.
2. один из серваков делается хранилкой (да. тонкое место. для него лучше что-то с двумя БП использовать и прочее резервировать). с него на остальные гипервизоры луны по iSCSI отдаются все винты.
лучше конечно купить отдельную праведную хранилку, но дык…
3. все остальные серваки под ESXi загоняются в общую сферу.
4. закупаем ящик оперативки, чтоб была возможность в экстренной ситуации отмигрировать серваки с умершего хоста на живые. для этого и нужна общая хранилка, чтоб не было проблем с копированием машин с дохлого-полудохлого.
5. для iSCSI лучше выделить отдельный свитч с поддержкой джумбофреймов и гигабитными портами.
итого получаем очень маштабируюемую и отказоустойчивую систему.
первое тонкое место – роутер. в идеале поставить железный маршрутизатор с опорным функционалом, а все остальное вывести в ДМЗ на виртуалках.
второе тонкое место – “хранилка”. под неё выделятся самый надежный сервак (не самый быстрый). принцип отбора – безглючное железо. 2 БП. емкость корзинвозможность подключения внешней корзины.
осью можно поставить freenas или какие-нить готовые сборки, чтоб не уничтожать себе мозг тонким пилением системы. точно не подскажу.
про лицензирование VCenter не помню. что там и как. у нас решили проще – сертифицировались как партнер какого-то уровня со сдачей админом какого-то уровня сертификатов и получения полного набора лицух для внутреннего использования (типа для стендов).
: это архитекстура вычислительной среды. надежная на ненадежном.
архитектуру приложений надо продумывать от задач вычислительного комплекса.
: не осилил 4 пункт, что имеется ввиду под “ящик оперативы”? Да, эта система была бы идеальной, но…
Esxi сервер в настоящий момент в одном экземпляре, и две виртуалки вращаются на server2. Ресурсоемких и критичных к падению приложений кроме 1С нет. Поэтому под данные задачи с лихвой хватит пару серваком с ESXi (или другими виртуализаторами) К сожалению, все упирается в задачи и финансы. Поэтому я хочу попытаться сделать максимально надежную и отказоустойчивую систему из того что есть. То есть “из говна – конфетку”
В чем преимущество использования esxi, кроме достаточно простой настройки и кучи книг и мануалов? Преимущества VCenter и ее фич типа online migration и так понятны. Но это будет достаточно затратно, а руководство же не любит тратить много денег на какие то глупости
: варианты рассматриваются 😉 в связи с чем и поднял тему.
: ну про то, что виртуалки, особенно на винде очень слабо едят проц, но хотят много памяти. мы вот недавно закупили под такое 2 сервака с двумя ксеонами и 96Гигами памяти в каждом. чтоб серверов по 20-30 держало.
просто я больше про то, что в общем – почти все твои сервера вполне уместятся по производительности на одном двухпроцессороном сервере. главное, чтоб памяти хватило. и значит стоит думать о том, что если вдруг что-то умирает – запас по памяти есть на соседях, что там эти машины можно спокойно перенести и стартануть.
ну я тебе и описал, как можно при существующем парке оборудования все это замутить. можно упереться в память, но она щас дешевая.
лицензия на всферу… можно подумать – как это обойти.
: хммм. Реализация отличная, но я не зря сказал про говно и конфетку. Из существующих серверов, esxi встает только на два, причем один из которых и планировался как хранилище с хорошим контроллером, подключением внешней корзины и прочим, только вот с лимитом на оперативу в 8 гигов 😀 Второй 1U сервер уже с нормальной конфой, но тоже из серии “бюджетно и очень бюджетно”. >100к на сервант мне не выделят. Но… блин, идея очень здравая, избавиться от кучи хлама в серверной. Спасиб, по поводу этого буду думать. Кста что порекомендуешь почитать по vmware?
: почитать? vmware.com?
по хорошему – я сам разворачивал только простые конфигурации для тестовых стендов в пределах одной машины – для рабочих нужд. инфраструктуру – точно не скажу технические моменты.
а про овер 100к… мы то сервера тоже не супер недавно покупали. голый интел. 2500 шасси какое-то из. и дофига(96Г) памяти и 2 6ти ядерных процессора. вышло 112к.
: преимущество есхи в том, что она просто настраивается и по ней куча книг и мануалов. 🙂 Ну и работает стабильно.
: ну да. можно канешн красноглазить до упора. но это хорошо, когда есть команда админов и какой-то кастомный проект.
а иначе – лучше решения такого плана. система должна работать и быть легка в управлении. а не быть увлекательным путешествием в мир командной строки.
: ой. забыл. есть такая штука ещё – как стоимость владения. в которую входит не только железо. но и время сотрудников.
убытки от простоев тоже немаловажны. а виртуальные фермы ещё дают такую полезную штуку, как легкость создания кластеров.
кластеризуешь приложение. тот же эксчендж. разносишь инстансы кластера по разным гипервизорам. и все.
Начни с мониторинга. Тот который нереализован. Нагиос+мртг.
: можно ли создать ферму на esxi?
: пятый нормально в в-центер входит. но пятый не так лицензируется, вроде, как все до этого.
можно свои пять копеек воткну? когда заходит речь резервном хранилище, ну или как вариант для большой файлопомойки надоть брать QNAP TS-809 Pro. более удачно железяки я давно не видел. Плюс поддержка все, чего только и можно. ну и стоимость в 50к не запредельна
: мне кажется, что в условиях small office на 50к можно организовать целую бэкапную сеть отдельную, а не одну железку даже
Stephan-V: ну на эту железяку я повесил бекап, видеонаблюдение, и файлопомойку. дальше не пошел, ибо пока не было надобности, но возможностей у нее хоть отбавляй. хотя для небольшой конторы можно смотреть не PRO модели. около 10 -12к и примерно тот же функционал
: к сожалению было предъявлено требование к шифрованию данных и пришлось реализовать похожую железяку но своими силами. А так как вариант там где нужно быстро, просто, надежно и удобно эта железка самое то