Новый гипервизор: промежуточный отчет

Несколько месяцев назад я писал о завершении работы «старого гипервизора», который, напомню, был построен на базе материнской платы Asus P5KR, для которой я подготовил модифицированные BIOS и модифицированные образа VMWARE ESXi разных версий, процессора Intel Xeon E5450, 16GB памяти DDR2, дисковой подсистемы на основе контроллера HP P400, о котором я тоже неоднократно писал, и умещался в недорогой 2U корпус.

Со стабильностью и управляемостью у данной машины не было особых проблем, а вот производительности не хватало. Не хватало и оперативной памяти, и «диска» и процессора. Серьезный апгрейд в рамках данной платформы был не возможен. 256GB SSD кэша проблему не решали, дефицит был по всем направлениям.

Решение строить новый гипервизор было принято давно и в общем пути реализации этого решения тоже были выбраны: система на базе одного или двух процессоров LGA1366 или система на базе одного процессора G34. Система на базе Intel отскочила практически сразу и причин тому было несколько: во-первых, выяснилось что использовать ECC DDR3 RDIMM можно далеко не на всех платах, платы с возможностью установки хотя бы 96GB памяти в общем не очень доступны, а система с парой Intel Xeon X5650, двенадцатью модулями ECC UDIMM DDR3 1333 на 8GB, соответствующим корпусом и блоком питания сильно выбивается из моего бюджета, да и в плане управляемости и вообще работы такого самосбора возникает много вопросов. Основными кандидатами на покупку кстати были HP Z400 и HP Z800. На базе второй платы мы даже собрали с коллегой нормальный игровой компьютер 🙂

Ну а гипервизору стало быть суждено построиться на платформе G34.

Основой стала материнская плата SuperMicro H8SGL-F. Плата была куплена новой в России, с гарантией, но со скидкой — складской пересорт. На e-bay такие платы торгуются по гуманным ценам, можно найти и очень удачную связку CPU+MOBO+COOLER. Процессор был выбран по принципу много ядер, средняя частота, средняя цена. Им стал Opteron 6272. Процессор умеет всё, что должен уметь процессор для гипервизора, а по производительности на ядро не сильно отличается от старого E5450. Только вот ядер (потоков) не четыре, а шестнадцать. На самом деле, можно было половить и более высокочастотные шестнадцатиядерники или даже двенадцатиядерники, но мне мой процессор достался баксов за тридцать, половина из которых была ценой доставки из USA.

С памятью не всё вышло гладко с первого раза. Изначально я заряжался на 64GB ECC DDR3 RDIMM 1333MHz. Покупка была второй у данного продавца и если первая прошла хорошо, во второй послыке модули памяти были разные, а пара из восьми еще и сбоила. Отправлять память назад получалось не выгодно, так что пришлось продать шесть модулей на месте чтобы хоть как-то возместить затраты.

Имея на руках систему без памяти (чисто технически у меня было 2х8GB ECC DDR3 RDIM 1600MHz, но это даже не смешно) я начал штудировать ebay. В итоге из Израиля мне приехало четыре, а потом и еще четыре модуля SAMSUNG ECC DDR3 RDIM 1600MHz объёмом шестнадцать гигабайт каждый. В сумме получилось 128GB памяти.

Попутно выяснилась забавная штука — Memtest86+ легаси версии (4.х) в общем не умеет обрабатывать ошибки ECC. Версия 6.х умеет, но не стартует на машинах без UEFI. Т.е. на моей материнской плате, которая имеет ну очень стандартный (на столько, что в него даже удалось зашить SLIC) AMI BIOS, прогнать мемтест с какой-то пользой не выйдет. Так что я гонял 7zip под Windows и смотрел в консоли мониторинга за ошибками. С новой памятью ошибок не было.

Основой дисковой подсистемы я планировал оставить чипсетный контроллер, но оказалось что ни в режиме DotHill, ни в режиме Adaptec, ПО гипервизора не видит во встроенном контроллере RAID. Так что, на порты интегрированного контроллера были воткнуты SATA DVD, Intel S3500 SSD (версия 1.8″ для кэша чтения), а место контроллера занял почти Adaptec 5805, о котором я писал ранее. Надо сказать, выбор контроллера оказался неудачным. С мониторингом у данной железки хуже чем у HP P400, оснастки для мониторинга через vCenter или vSphere client для ESXi свежее четвертой версии просто нет. Только remote arcconf, что не очень удобно. В остальном же, контроллер отлично справляется с RAID массивом пятого уровня на четырех накопителях объёмом 2TB.

Корпус получился на вырост — «глубокий» FullTower от Chieftec. Сетевые карты и видеокарта интегрированные, а консоль по сети (ip kvm) — вообще сказка. Так что каких-то дополнительных устройств устанавливать не пришлось. Последнее, что отделяло гипервизор от завершенного состояния — кулер.

Казалось бы, такая фигня, но найдите что-то под 115W+, при этом тихое и доступное под Socket G34 🙂 Вот и я сходу ничего не нашел. Были кулеры от Nocuta (модель Noctua NH-U9DO A3), но дорогие и с дорогой доставкой, были кулеры от Directron, на них-то я и остановился. Выбирал между Dynatron A6 и A14, в итоге послушав первый, выбрал последний. Кулер ехал дольше всех. У кулеров фирмы Directron, вернее у их термоинтерфейса, есть одна особенность. Термоинтерфейс похож на тот, что был в поздних BOXовых кулерах от Intel под платформу Socket 478. Термопаста там практически сухая и для «усадки» она должна буквально расплавиться.

Сейчас система выглядит так:

Аптайм, да и личные ощущения, уже позволяют говорить о том, что гипервизор состоялся. Количество процессорных ядер увеличилось в 4 раза, памяти стало больше в 8 раз. Объём стораджа увеличился не так значительно — всего в полтора раза, но короткая пятерка на трех дисках и чуть более длинная на четырех ведут себя по разному. К тому же, в новом корпусе есть возможность удвоить количество дисков без особых проблем.

Из минусов, вернее, из того что не устраивает, хотелось бы отметить лишь два момента: первый — производительность на тред всё же маловата, и даже дорогой Opteron 63xx не привнесёт в систему серьезного увеличения быстродействия, второй — система не может pci passthrough. На самом деле не очень то и хотелось, но всё же. Система может pci passthrough, достаточно лишь активировать в BIOS опцию IOMMU, описание которой слегка недостоверно.

Да, на картинке выше видно три сетевых адаптера — в системе всё-таки стоит на всякий случай PCI (не PCI-E) версия адаптера Intel PRO100/1000MT.

В заключении хотелось бы отметить что если от системы нужно максимальное количество памяти за минимальную цену, а всякие забавные плюшки типа IP KVM совсем не лишние, системы на базе G34 и даже на базе C32 вполне конкурентоспособны. В их ценовом диапазоне Intel ничего предложить не может. Но, справедливости ради стоит отметить что много памяти и хорошее управление, но при этом «дохлый» процессор, мало кому сегодня нужны.