GD Star Rating
loading...

Добрейшего утречка.
Задумал в своей конторе полностью перековырять серверную инфраструктуру. Контора небольшая, порядка 40 компов и с десяток серверов (vmware esxi, nix), но хочется сделать все по уму. В связи с чем хотелось бы обсудить схему построения всего добра. Что есть, что требуется и как я себе это вижу инсайд

Tagged with →  

26 Responses to Добрейшего утречка.

  1. MonZero:

    Итак что требуется (деление на сервера условное, в скобках указано что используется сейчас):
    Сервер №1
    1) Маршрутизация 3х интернет каналов (iproute2):
    а) интернет для сотрудников
    б) почтовый и веб трафик
    в) безлимит для избранных
    2) Межсетевой экран (iptables)
    3) Разграничение использования интернета, статистика посещения, антивирусная и контент-фильтрация, приемлимая веб-морда для просмотра статистики и прочие пряники (squid3+clamav+lightsquid+apache2)
    4) DNS (bind)
    5) VPN (openvpn)
    6) DHCP (dhcp3)

    Сервер №2
    1) Корпоративная почта (exim+courierIMAP+spamassasin+clamav):
    а) POP, SMTP, IMAP
    б) Антивирус и антиспам
    в) Веб морда (не реализовано)

    Сервер №3
    1) MySQL (mysql)
    2) Мониторинг (не реализовано)

    Сервер №4
    1) Веб-сервер (nginx+php-cgi+memcached)
    2) FTP (proftpd)

    Сервер №5
    1) Видеонаблюдение (zoneminder+apache2)

    Сервер №6
    1) Файловый сервер
    а) разграничение прав доступа (acl)
    б) шифрование данных (dmcrypt)
    в) Ключевой носитель (ключи с gpg шифрованием на флешке+шифрованный скрипт для автомонтирования раздела при загрузке системы)
    г) Сетевая корзина (samba)
    д) Учет использования (samba)
    2) Резервное копирование (централизованной реализации нет)

    Сервер №7
    1) Виртуализация windows систем (vmware server 2, vmware esxi 4.1)

    На виртуалках ничего интересного особо нет: AD+DNS, GP, WSUS, TerminalServer, Citrix и различные пользовательские приложения: 1C, CRM и прочее.
    Для всех серверов нужно реализовать мониторинг, резервное копирование и хочется связать их воедино либо с AD, либо с OpenLDAP.

  2. Ek1ZZ:

    : а ты сами серваки будешь виртуализировать и отказоустойчивать? Сам сейчас думаю, каким образом максимально простым способом провернуть это со своими серваками.

  3. Flumo:

    Давай так – сколько у тебя на это денег?
    Я так понимаю, всякие винды тебе нет смысла советовать, да?

  4. MonZero:

    Я так и не могу определиться чего взять за основу центрального ядра системы. Большинство машин в офисе на win и совсем небольшой процент сидит на ubuntu. Плюсы AD с политиками очевидны, но и openldap тоже не лыком шит.
    Если делать на openldap, то есть мысль поднять слабенький кластер из двух нодов на heartbeat+drdb и повесить на него openldap, dns, dhcp, mysql, мониторинг.

    Отдельный сервер маршрутизации с прокси и привязкой к ldap. Реализация: iptables, iproute2, squid3+havp+clamav+sams+openvpn
    Почтовый сервер: postfix+dovecot+spamassasin+clamav+web морда
    Веб сервер думаю остается без изменений, так как реализовано сейчас, ну разве что добавятся плюшки типа мониторинга и прочего
    Видеонаблюдение: zoneminder всем устраивает, кроме аццки тяжелой веб морды, которая начинает лагать при доступе с 3-4 компов одновременно.
    Что использовать в качестве сервера резервного копирования? Смотрю на bacula, но до конца так и не определился.
    Также не знаю что заюзать в качестве мониторинга состояния nagios, cacti? Что будет полезнее в качестве опыта, для меня сейчас это на первом месте.
    Файловая помойка остается с текущей реализацией, наверно.

    В общем готов выслушать умных людей, критика, комментарии приветствуются. И да, я – нуб))

  5. MonZero:

    И также интересует что сейчас предпочтительней использовать из дистрибов? В настоящий момент все вертится на debian и gentoo. Как вам centos? Чем лучше хуже?
    И что скажете по поводу виртуализации? Оставить то что есть или рассмотреть варианты c kvm, xen, php-virtualbox?

  6. MonZero:

    : делать буду на готовом, благо серверов прилично и есть на что заменить в случае чего. По деньгам даже не думал, но в случае надобности смогу убедить руководство. По виндам я шарю на уровне поднять домен, настроить политики, обновления, терминалки ну и гуглить в случае проблем

  7. MonZero:

    : виртуализировать планирую только виндовые системы, для остального в принципе хватает железа в наличии. Но если честно не задумывался о полной виртуализации. Для того чтобы все нормально виртуализировать желательно иметь надежные серваки с удаленным управлением и плюшками, а в наличии имееются самосборные серванты ценой до 60к. Отказоустойчивость… Как много в этом звуке… И как мало об этом думает руководство. Поэтому даже не знаю что сказать по этому поводу 🙁

  8. Flumo:

    Если заинтересует вариант с ESXi, виндами в качестве ядра и дебианом на подхвате – обращайся. 🙂

  9. IriBlank:

    имхо для унификации схемы:

    1. маршрутизатор остается на отдельной тачке.
    2. один из серваков делается хранилкой (да. тонкое место. для него лучше что-то с двумя БП использовать и прочее резервировать). с него на остальные гипервизоры луны по iSCSI отдаются все винты.
    лучше конечно купить отдельную праведную хранилку, но дык…
    3. все остальные серваки под ESXi загоняются в общую сферу.
    4. закупаем ящик оперативки, чтоб была возможность в экстренной ситуации отмигрировать серваки с умершего хоста на живые. для этого и нужна общая хранилка, чтоб не было проблем с копированием машин с дохлого-полудохлого.
    5. для iSCSI лучше выделить отдельный свитч с поддержкой джумбофреймов и гигабитными портами.

    итого получаем очень маштабируюемую и отказоустойчивую систему.

    первое тонкое место – роутер. в идеале поставить железный маршрутизатор с опорным функционалом, а все остальное вывести в ДМЗ на виртуалках.

    второе тонкое место – “хранилка”. под неё выделятся самый надежный сервак (не самый быстрый). принцип отбора – безглючное железо. 2 БП. емкость корзинвозможность подключения внешней корзины.
    осью можно поставить freenas или какие-нить готовые сборки, чтоб не уничтожать себе мозг тонким пилением системы. точно не подскажу.

    про лицензирование VCenter не помню. что там и как. у нас решили проще – сертифицировались как партнер какого-то уровня со сдачей админом какого-то уровня сертификатов и получения полного набора лицух для внутреннего использования (типа для стендов).

  10. IriBlank:

    : это архитекстура вычислительной среды. надежная на ненадежном.
    архитектуру приложений надо продумывать от задач вычислительного комплекса.

  11. MonZero:

    : не осилил 4 пункт, что имеется ввиду под “ящик оперативы”? Да, эта система была бы идеальной, но…

    Esxi сервер в настоящий момент в одном экземпляре, и две виртуалки вращаются на server2. Ресурсоемких и критичных к падению приложений кроме 1С нет. Поэтому под данные задачи с лихвой хватит пару серваком с ESXi (или другими виртуализаторами) К сожалению, все упирается в задачи и финансы. Поэтому я хочу попытаться сделать максимально надежную и отказоустойчивую систему из того что есть. То есть “из говна – конфетку”

  12. MonZero:

    В чем преимущество использования esxi, кроме достаточно простой настройки и кучи книг и мануалов? Преимущества VCenter и ее фич типа online migration и так понятны. Но это будет достаточно затратно, а руководство же не любит тратить много денег на какие то глупости

  13. MonZero:

    : варианты рассматриваются 😉 в связи с чем и поднял тему.

  14. IriBlank:

    : ну про то, что виртуалки, особенно на винде очень слабо едят проц, но хотят много памяти. мы вот недавно закупили под такое 2 сервака с двумя ксеонами и 96Гигами памяти в каждом. чтоб серверов по 20-30 держало.
    просто я больше про то, что в общем – почти все твои сервера вполне уместятся по производительности на одном двухпроцессороном сервере. главное, чтоб памяти хватило. и значит стоит думать о том, что если вдруг что-то умирает – запас по памяти есть на соседях, что там эти машины можно спокойно перенести и стартануть.

    ну я тебе и описал, как можно при существующем парке оборудования все это замутить. можно упереться в память, но она щас дешевая.
    лицензия на всферу… можно подумать – как это обойти.

  15. MonZero:

    : хммм. Реализация отличная, но я не зря сказал про говно и конфетку. Из существующих серверов, esxi встает только на два, причем один из которых и планировался как хранилище с хорошим контроллером, подключением внешней корзины и прочим, только вот с лимитом на оперативу в 8 гигов 😀 Второй 1U сервер уже с нормальной конфой, но тоже из серии “бюджетно и очень бюджетно”. >100к на сервант мне не выделят. Но… блин, идея очень здравая, избавиться от кучи хлама в серверной. Спасиб, по поводу этого буду думать. Кста что порекомендуешь почитать по vmware?

  16. IriBlank:

    : почитать? vmware.com?
    по хорошему – я сам разворачивал только простые конфигурации для тестовых стендов в пределах одной машины – для рабочих нужд. инфраструктуру – точно не скажу технические моменты.

    а про овер 100к… мы то сервера тоже не супер недавно покупали. голый интел. 2500 шасси какое-то из. и дофига(96Г) памяти и 2 6ти ядерных процессора. вышло 112к.

  17. Flumo:

    : преимущество есхи в том, что она просто настраивается и по ней куча книг и мануалов. 🙂 Ну и работает стабильно.

  18. IriBlank:

    : ну да. можно канешн красноглазить до упора. но это хорошо, когда есть команда админов и какой-то кастомный проект.
    а иначе – лучше решения такого плана. система должна работать и быть легка в управлении. а не быть увлекательным путешествием в мир командной строки.

  19. IriBlank:

    : ой. забыл. есть такая штука ещё – как стоимость владения. в которую входит не только железо. но и время сотрудников.
    убытки от простоев тоже немаловажны. а виртуальные фермы ещё дают такую полезную штуку, как легкость создания кластеров.
    кластеризуешь приложение. тот же эксчендж. разносишь инстансы кластера по разным гипервизорам. и все.

  20. OldSpb:

    Начни с мониторинга. Тот который нереализован. Нагиос+мртг.

  21. MonZero:

    : можно ли создать ферму на esxi?

  22. IriBlank:

    : пятый нормально в в-центер входит. но пятый не так лицензируется, вроде, как все до этого.

  23. Tamam:

    можно свои пять копеек воткну? когда заходит речь резервном хранилище, ну или как вариант для большой файлопомойки надоть брать QNAP TS-809 Pro. более удачно железяки я давно не видел. Плюс поддержка все, чего только и можно. ну и стоимость в 50к не запредельна

  24. V-nMilk:

    : мне кажется, что в условиях small office на 50к можно организовать целую бэкапную сеть отдельную, а не одну железку даже

  25. Tamam:

    Stephan-V: ну на эту железяку я повесил бекап, видеонаблюдение, и файлопомойку. дальше не пошел, ибо пока не было надобности, но возможностей у нее хоть отбавляй. хотя для небольшой конторы можно смотреть не PRO модели. около 10 -12к и примерно тот же функционал

  26. MonZero:

    : к сожалению было предъявлено требование к шифрованию данных и пришлось реализовать похожую железяку но своими силами. А так как вариант там где нужно быстро, просто, надежно и удобно эта железка самое то

Добавить комментарий