Сегодня я бы хотел поговорить об одной текущей PR-акции VMware. Недавно компания заказала «независимое тестирование» производительности гипервизора vSphere 5 и Hyper-V R2 SP1 компании Principled Technologies. В качестве задачи в виртуальных машинах устанавливался SQL Server, к которому с различных внешних клиентов шли автоматизированные обращения. Производительность вычислялась, как сумма выполненных транзакций. Главным результатом, пропагандируемым адептами VMware является 18.9% преимущество vSphere над Hyper-V в количестве транзакций. VMware публикует документ на своём сайте и активно спамит его заказчикам, как результат «независимого тестирования». Давайте попробуем разобраться, в чём там дело, и почему VMware бьётся в маркетинговой агонии с придуманными тестами.
Начнём с изучения методики тестирования и результатов, предлагаемых для ознакомления в более подробном документе на сайте Principled Technologies, проводивших это тестирование. В качестве тестовой системы использовался сервер DELL PowerEdge R710 с 96ГБ памяти и дисковые хранилище DELL EqualLogic PS5000XV. Гостевые виртуальные машины с Windows Server 2008R2 SP1 конфигурировались 4ГБ памяти. Тестирование проводилось в два этапа: сначала для 24 виртуальных машин (суммарный объём памяти в ВМ равен памяти на сервере), а далее тестировалась «масштабируемость» на 30 виртуальных машинах (требующих в данной конфигурации 120ГБ памяти, при наличии 96ГБ на сервере).
Очевидно, что «независимое тестирование» ставило себе вполне конкретную задачу получить озвученный выше результат. Что можно сказать про предложенный механизм тестирования?
По непонятным соображениям основной упор (и 18.9% разница в результатах) делалась на тестирование конфигурации, когда объём потребляемой машинами памяти превышает объём физической памяти. Цель очевидна – показать возможность Memory Overcommitment. Не важно, что это не рекомендуется в реальной среде самой VMware. Не важно, что по новым правилам лицензирования vSphere, заказчик лицензирует vRAM не за физически доступную, а за максимально назначенную память (то есть в данном случае, на сервере с 96ГБ требуется лицензировать не менее 120ГБ памяти, раз там созданы 30 машин с 4ГБ. Не важно, что четверть памяти обеспечивается файлом подкачки). Не важно, что часть продуктов самой VMware не поддерживаются на серверах с разрешенным Overcommitment (например новомодный vSphere Storage Appliance). Главное было получить некие цифры. Посмотрим на них..
Даже в первом случае c 24ВМ, очевидно, что сам гипервизор также требует некий объём памяти, так что и для 24 машин выделить реальные 96ГБ в такой конфигурации невозможно. Результаты тестирования 24 машин показывают примерно одинаковые результаты в производительности, vSphere выигрывает пару процентов, как я понимаю, за счёт того что Hyper-V как раз не хватает этих самых 2% памяти.
Далее запускаются ещё шесть машин, так чтобы в случае VMware суммарный объём памяти достиг 120ГБ (с использованием Overcommitment), а Hyper-V имел 30 машин примерно по 3ГБ. Результат вполне прогнозируемый.
Отдельно скажу, что для виртуальных машин с SQL ставился буфер в 10%. Не рекомендованное значение в 5%, и не значение по умолчанию в 20%, а некое промежуточное, что несколько настораживает. Также очень настораживает факт, что в документе, подробно описывающем версии ОС и SQL, оборудования и драйверов ни слова не сказано о том, какое издание SQL Server использовалось. Как вы знаете, Standard Edition не поддерживает динамическую память. Для сервера с 30 запущенными виртуальными машинами с SQL покупать лицензии Standard будет дороже, чем две процессорные Enterprise, однако, вряд ли это беспокоило Principled при тестировании.
Также нельзя не отметить интересный факт. В описании процесса тестирования указано, что после загрузки всех виртуальных машин, перед запуском теста предлагалось подождать один час. Интересно почему? Очевидно, что для эффективной демонстрации технологии Transparent Page Sharing это было необходимо. В реализации vSphere TPS не работает в реальном времени, а лишь оптимизирует одинаковые блоки памяти раз в час (значение можно увеличить). Указав один час ожидания перед запуском теста, Principled честно даёт понять, что рассчитывает получить от этого увеличения производительности. Очевидно, что в реальной жизни это неприменимо, как уже не раз обсуждалось, с Windows 2008/7/R2, а также с Linux, технология TPS работает неэффективно.
Как можно оценивать тест и его результаты? Думаю, что все прекрасно понимают, что в промышленных средах Overcommitment никто использовать не будет. Сама VMware это не рекомендует в своей документации, однако для теста было решено рекомендациями пренебречь. Для ситуации, когда Overcommitment (почти) не использовался разница в 2% производительности это убедительная победа бесплатного Hyper-V над vSphere, где для работы с 96ГБ памяти требуется купить две лицензии Enterprise или три Standard (можно, конечно, и две Enterprise Plus, одной не хватит, ибо лицензируется каждый процессор).
А теперь попробуем оценить это с точки зрения адепта VMware. Overcommitment – классная технология, которую адепты используют в промышленных внедрениях. Технология позволяет получить 18.9 преимущества над Hyper-V – победа! Однако? Однако нужно купить две лицензии vSphere Enterprise за $6990. Может быть проще купить второй сервер, и запустить на нём ещё виртуальные машины Hyper-V за те же деньги? Или удвоить память и количество машин на первом сервере за те деньги, которые можно сэкономить, отказавшись от vSphere? Это я предлагаю решать вам самим. К статье прилагаю более подробную презентацию, которая описывает эту агонию маркетолухов VMware, выпустившим такое «независимое тестирование» у себя на сайте. Рекомендуеися к ознакомлению всем, кто получил в виде спама от VMware результаты этого тестирования.
Я бы с удовольствием поучастсвовал в реальном тестировании - где мы бы публично оговорили методологию, создали бы скрипты инсталляции, конфигурации и тестирования, и дали бы независимому лицу провести само тестирование. Однако, увы, лицензионное соглашение vSphere до сих пор не позволяет никому публиковать результаты тестирования, если методология не была одобрена VMware. Что за методологии там одобряют мы только что поняли. Буду рад злобным комментариям!
Спасибо! Побольше бы таких разоблачений!
Нормально люди пишут. Это же их работа. А то вы так разнервнечались что можно подумать, что те маркетологи что работают в MS - святые. Люди-то не дураки и знают что в воде тонет а что плават.
Кирилл, вопрос-то не в святости, в однобокости подхода, заключающегося в закрытости результатов. А именно на их основаны эпистолярные документы, пруфы на которые привел Леша.
Да, VMware далеко до "Get the Facts"
Был случай когда менеджер VMware Скот Драммонд рассылал клиентам видео порочащее Hyper-V. Затем когда был пойман за руку и публично пошел на попятную.
blogs.technet.com/.../hyper-v-winning-daily-vmware-fud-reaching-new-heights.aspx
blogs.technet.com/.../day-two-of-the-scott-drummond-vmware-fud-fiasco.aspx
Вероятно это бенчмарк из той же серии. Припекло и цель сохранить клиентов любыми путями.
При учете изменения лицензирования выглядит как попытка заработать по крупному напоследок.
Годный срыв покровов, но и рекомендовать такой "наш ответ Чемберлену" в PPTX я бы не стал - оформление и подача материала страшнее второй мировой войны :)
Да ладно все хороши. Любой вендор тянет одеяло на себя.
Я лично, как продолжал использовать ESXi так и продалжаю. Дело даже не в гипотетической производительности, а просто в банальном удобстве:
1) очень легко разграничить доступ на пул ресурсов, в том же Hyper-V для этого какие-то грабли нужно использовать
2) есть vmware конвертер, который почти из любого формата виртуалки позволяет сделать свою виртуалку. В бесплатном гиперв таких удобств отродясь не было.
1, вы используете бесплатный гипервизор, как я понимаю.
Я не спорю, в 4.1 это было очень даже не плохое решение. Теперь лишь 8ГБ памяти на сервер. И в этому случае ограничение жестко техническое.
Как вы планируете использовать его далее?
Или вы таки готовы переплачивать в разы за конвертер? У нас есть бесплатный P2V Converter, есть полный в SCVMM (или вы в случае ESXi и vCenter не покупали?). В VMM нет проблем с разграничением доступа и квотированием. Добавить сюда бесплатный VMM SSP 2.0 и квотирование становится более навороченным, чем у VMware.
Цена VMM в минимальном варианте - 500USD на пять серверов (VMM Workgroup Edition + SSP 2.0), а сам Hyper-V бесплатен - за такие деньги вы даже на один процессор никакой лицензии от VMware не купите.
> Может быть проще купить второй сервер, и запустить на нём ещё виртуальные машины Hyper-V за те же деньги?
Не проще. Электричество, охлаждение, обслуживание стоит бОльших денег.
Антон, а давай посчитаем?
На примере этого же оборудования.
Один сервер R710 в заданной конфигурации стоит порядка $8000 (без внутренних дисков)
Такой же сервер с удвоенным объёмом памяти стоит порядка $11000
На VMware нужно примерно $7000 на лицензии (в конфигурации статьи, где 30 машин используют 120GB памяти) - это без любых фишек, не входящих в саму vSphere и без vCenter (так что не добавляйте мне VMM, который стоит в разы дешевле).
Имееем $15000 за конфигурацию с VMware на 30 машин и $11000 за Hyper-V на 48 машин.
Приведу к общему знаменателю по количеству машин.
Три сервера с VMware за $45000 дают примерно столько же машин, сколько два Hyper-V (с удвоеной памятью), но Hyper-V обходится вдвое дещевле ($22000) - к тому же, как вы правильно заметили, на VMware нужно еще электричество, охлаждение итд, ибо эффективность ниже и серверов больше
Для Hyper-V я могу и утроить память, примерно за $16000 за сервер с 75 машин (то же что стоит VMware на 30 машин). Удвоение памяти в случае VMware приведёт к удвоению стоимости лицензий и будет только хуже.
Давайте уж порассуждаем открыто. Жду комментариев. Дайте свою конфигурацию, когда VMware может быть сравнимо по стоимости.
>>Давайте уж порассуждаем открыто. Жду комментариев.
Простите, а где мой комментарий в ответ на 3 Nov 2011 10:12 AM?
В который раз не пропускаюся комментарии, которые хоть как-то противоречат хвалебным речам microsoft.
Комментарий был следующим постом. Что именно не ясно?
ESXi как бесплатный гипервизор был нишевым решением (без VI) до версии 4.1. Теперь с ограничением в 8ГБ о нем можно забыть.
Пулы ресурсов это функционал VMM2012 (он уже финaл). Полноценный P2V опять таки часть VMM (и такого у VMware нет, - попробуйте сконвертировать ProLiant варой, помучайтесь). По ценам - VMM Workgroup - 500$ на пять хостов.
Бесплатный P2V for Software Assurance есть на сайте MS.
Столько эмоций :)
Алексей, вы же занимаетесь тем же самым - выискиваете слабые места у VMware и давите на них же.
Я прекрасно помню ваше предложение приехать в первопрестольную и сравнить гипервизоры на равном железе для оценки того, чей Memory Overcommitment круче.
Также я прекрасно помню, что VMware EULA против открытых публикаций тестов без согласования с ними. Поэтому я предложил вам связаться с московскими коллегами. Судя по отсутствию сравнения в блоге - руки у кого-то из вас не дошли :))
Конкретно по той тематике вы предложили следующие условия:
- создаем и запускаем виртуалки. Ждем, кто раньше загнется;
- используем Win2k8 R2 с тулзами/компонентами внутри;
- не используем своп от VMware.
При этом явно используются следующие предпосылки с вашей стороны:
- ESXi использует ~ 512-1GB памяти для развертывания в нее своего образа. Именно благодаря этому и стало возможным его эффективное использование на флеш-носителях. Попробуйте долго использовать на флешке Hyper-V Server ;)
- Win2k8 R2 поддерживает Memory Ballooning от MS, равно как и еще пара-тройка ОС, в отличие от пары десятков поддерживаемых ОС в VMware (поддерживаемых в плане Memory Balloon);
- мне не известны способы выключения свопа без выключения остальных техник (в частности, ballooning). Либо они вместе выключены (при резервировании памяти), либо вместе включены. Вы о таком способе обмолвились, но раскрыть мне тайное знание отказались. Дескать, вы проводили сравнение с партнером VMware, они-то в курсе, а спросить их вы не можете.
Точно так же можно предложить аналогичное сравнение с включенным свопом на SSD. Я даже догадываюсь, кто победит, причем с приличным отрывом по любым попугаям ;)
По поводу неиспользования Memory Overcommitment в реальной среде: VMware не рекомендует планировать инфраструктуру на основе этой технологии (закладывая 20, 30 или 50%). Использовать ее она не запрещает вообще-то. Найдете официальное опровержение - с радостью посмотрю.
Технология TPS с большими страницами не работает ровно до тех пор, пока на хосте хватает памяти. Как только свободной памяти становится меньше 6%, страницы радостно бьются на мелкие куски и дедуплицируются (www.vsphere.ru/.../transparent-page-sharing-tps-and-large-pages).
VMware Converter таки бесплатный, и пролианты им конвертируются на раз. Пробовал несколько раз, последний на прошлой неделе.
ESXi Free поддерживает до 32 ГБ vRam.
Цена vSphere Essentials - 500$. За эти деньги вы получаете лицензию на vCenter и три двухпроцессорных сервера, vRam - 32GB на процессор (192GB всего).
Особенно радуют фразы типа "давайте посчитаем сферический сервер в вакууме".
Считать надо не только (и не столько количество памяти на сервер) стоимость сервера, сколько внешнюю инфраструктурную обвязку (LAN/SAN), UPS, Cooling, ...
Я могу свести цифры так, что большее количество серверов от любого вендора потребует как минимум дополнительные свитчи (2SAN_SW+2LAN_SW от HP > 20000$). Как максимум, дополнительную корзину и свитчи, либо модернизацию схемы электропитания и охлаждения, там суммы еще веселее окажутся.
Templier - вроде бы особо эмоций нет, просто развенчание очередного бреда, который пиар маректологи VMware активно распространяют. Завтра на TechEd обсудим более широко.
Давайте сводить цифры. Задайте любую конфигурацию, которую вам удобно для VMware, посчитайте стоимость конфигурауции + лицензий. Серверов на 10-20, чтобы опять не было дыма, - предлагать за едорого Essentials, а через год требовать оплатить уже по полной дополнительные и старые серверы при необходимости расширения.
Вы дайте свою конфигурацию, стоимость и оценку количества машин на ней. Я вычту стоимость лицензий VMware, добавлю SMSD, а на разницу добавлю памяти. И посчитаю количество машин. Будем считать, что процентная разница в количестве машин и будет судить показателем эффективности. Не нравится? Предлагайте другой вариант.
Также буду рад предложению измерить производительность предлагаемым VMware способом (сумму выполненных на всех ВМ транзакций) на системах, стоящих одинаково. И чем больше рейтинг консолидации (чем больше машин и памяти), тем сильнее будет проигрыш VMware, что вы прекрасно понимаете. Монолит рушится, моя задача предупредить заказчиков во время отойти в сторону, чтобы обломками не раздавило.
Окей, открытый пример подгонки задачи под результат.
В качестве серверной платформы берем BL460c G7.
VMware:
В корзину c7000 умещается 16 двухпроцессорных лезвий. Нам интересен вариант, когда на лезвии стоит 12*16GB=192GB RAM. С учетом overcommitment 30%, который на части больших инфраструктур все же получают, нам потребуется третья лицензия vSphere Enterprise Plus на хост. Ну и представим, что у нас есть виртуалки, которым так или иначе вынь да выдай 3993,6GB (16*192*1.3).
Итого 3*16=48 лицензий. Берем стартовый пакет VMware vSphere Enterprise Plus Acceleration Kit (6CPU) и 42 лицензии допом. Техподдержку откидываю, так как в противном случае и у MS придется начать считать CAL, SA и тд. Получаем 22000$+42*3500$=169000$. Большая сумма, да.
MS:
Нам надо нарастить 30% памяти за счет выбора большей памяти либо большего количества серверов.
В данные лезвия можно поставить 32GB память вместо 16GB. Разница в стоимости на планку ~ 4400$, дада ;) (по данным с price.ru)
В нашем случае надо 5 серверов оснастить бОльшими планками памяти, это 60 планок по 32 GB. 60*4400$=264000$. УПС? :)
Фигня, скажете вы, мы купим вторую корзину, это окажется дешевле.
Давайте посчитаем.
Тут цифры я беру от своей балды, если у вас есть более адекватные - велком
1 корзина (~500000р)+2LAN/SAN_SW(~600000р)+5 серверов(~500000р)+60 планок 16GBпамяти (~2'280000). Итого - 3'880000р или 129300$.
Сколько стоит инфраструктурная обвязка 21 сервера по SMSD? SCCM+SCOM+VMM+DPM?