Тест MobileMark 2005 – новый «эталон» для ноутбуков

26 мая в Сан-Матео, Калифорния, корпорация с не самым благозвучным для русского уха названием BAPCo представила новейшую версию пакета для оценки производительности и времени работы ноутбуков от батареи с реальными приложениями – MobileMark 2005.

Поскольку наша жизнь становится всё более мобильной («мобилизированной»? :)) – так, например, в прошедшем мае впервые в истории уровень продаж мобильных компьютеров на рынке США оказался даже выше, нежели их настольных собратьев, – то производителям и, конечно, нам, пользователям, хотелось бы иметь под рукой удобный универсальный инструментарий, позволяющий судить не только о быстродействии ноутбуков, но и о продолжительности их автономной работы, которую мы всеми силами стремимся увеличивать. ;)

Посмотрим, насколько MobileMark 2005 отвечает этим чаяниям и реалиям времени, - ведь с момента выпуска предыдущей версии пакета, MobileMark 2002 (которая уже стала своеобразным стандартом в это области), прошло целых три года – а это немалое время по меркам IT-индустрии.

Краткий обзор пакета

BAPCo (Business Applications Performance Corporation) – это бесприбыльный консорциум ведущих игроков компьютерной индустрии (см. рисунок).

Бесприбыльность не означает, что тестовые пакеты, разрабатываемые этой организацией (а среди них – SYSmark, MobileMark и WebMark разных версий), раздаются задаром: удовлетворить любопытство и узнать о достоинствах своего или иного ноутбука законным образом будет стоить – придержите челюсть – 499 долларов США (причем, это в индивидуальном порядке, см. https://shop.futuremark.com/shop/, тогда как для организаций «порок любопытства» обойдется вдвое дороже – см. www.bapcostore.com/store/home.php?cat=250). Из чего следует, что пакет предназначен не для рядовых законопослушных пользователей, а для профессионалов, так или иначе занятых на рынке мобильных компьютеров. Незаконопослушные же и просто любопытные при попытке удовлетворения своего «порока» (любопытства ;)) встретятся со значительными трудностями – сам размер пакета служит естественным препятствием для, скажем, скачивания его из Интернета, поскольку в стандартной на вид коробочке DVD присутствуют аж три диска – два DVD и один CD:

• MobileMark 2005 Install DVD (DVD-ROM)– собственно установочный диск пакета;
• DVD Playback Media (DVD-Video) – диск с двухчасовым видеофильмом предоставленным BMW, используется для теста DVD Playback 2005;
• Wireless Server 2005 (CD-ROM) – загрузочный CD-ROM с ОС KNOPPIX, загружаемый на посторонний компьютер для эмуляции сёрфинга по Интернету в тесте Wireless 2005.

Идеологически подход корпорации к формированию тестового пакета выглядит следующим образом: проанализировав основные варианты использования мобильных компьютеров в повседневной профессиональной деятельности, эксперты BAPCo выделили 4 таковых, в соответствии с которыми были сформированы следующие сценарии тестов (workloads в терминологии BAPCo):

DVD Playback 2005

Этот сценарий основан на рекламном видеоролике от BMW длиной 1 ч. 55 мин., который просто воспроизводится в полноэкранном режиме при помощи программы InterVideo WinDVD 6.0 до полной разрядки батареи. Тест отсутствовал в предыдущей версии пакета.

Видео могло бы быть практически любым – подробные изыски BAPCo в воспроизведении различных жанров, от боевиков до мультиков, не выявили сколько-нибудь заметной зависимости продолжительности автономной работы мобильных компьютеров от видеоконтента. Результирующим показателем является продолжительность теста в минутах.

Wireless browsing 2005

Этот сценарий описывает работу пользователя с поисковой системой через беспроводную сеть – c ноутбука по беспроводной сети отправляется запрос серверу (который представляет собой компьютер, подключенный к точке доступа посредством проводного сегмента, с загруженной с диска Wireless Server 2005 CD-ROM операционной системой KNOPPIX) и затем последовательно просматриваются ссылки с некоторой временной задержкой – для ознакомления с содержимым. Средний размер загружаемых веб-страниц составляет 150 Кбайт, что несколько больше, нежели среднее значение таковых для основных поисковых систем – но, как считают в BAPCo, это отражает общую тенденцию к утяжелению веб-контента и расширению пользовательских каналов доступа к Интернету.

Тест продолжается до полной разрядки батарей. Результирующим показателем является продолжительность теста в минутах. Этот тест также отсутствовал в предыдущей версии пакета.

Productivity 2002SE

Этот сценарий (называемый в «белой статье» на bapco.com по старинке как Office productivity 2002SE) нацелен производителем не столько на определение быстродействия ноутбука, сколько на тест времени его жизни от батареи при выполнении типичных офисных задач (отмечается даже, что собственно производительность здесь индицируется просто «для справки», показывая, на какое среднее время отклика может рассчитывать пользователь, когда работает от батареи по такому бизнес-сценарию). Время отклика (Response time) в тесте MobileMark 2005 (Office productivity 2002SE) определяется как время, которое требуется для того, чтобы компьютер завершил задачу, инициированную нажатием клавиатуры или мыши (они имитируются скриптом). На базе среднего времени отклика вычисляется Performance Rating (см. ниже).

Собственно сценарий описывает работу абстрактного «мобильного» служащего некоей (угадайте, какой ;-)) автомобильной компании, который использует в своей работе набор типичных офисных приложений: великолепную четверку из состава MS Office (Word, Excel, PowerPoint, Outlook, правда, не самой новой версии – 2002), Adobe Photoshop (версии 6.0.1) и Macromedia Flash версии 5.0. Для просмотра HTML-версий документов наш «голем» почему-то использует полузабытый Netscape Communicator 6.01, ну, да что с него взять – видимо, тут учтена инерция, с которой официально используемые сотрудниками программные продукты обновляются в крупных корпорациях. ;) Параллельно работе с документами, пользователь в фоновом режиме проверяет свой ноутбук на наличие вирусов и архивирует (восьмым «винзипом») папку Program Files (последнее у нас лично вызывает особое умиление – ну да ладно, содержимое этой папки, как правило, неплохо представляет разнообразие файлового контента, в среднем архивируемое пользователями).

Надо отметить, что «голем» оказался вполне «нашим» человеком – по приходе на работу он взялся за редактирование в Фотошопе фотографий со сценами каякинга (очевидно, только что из отпуска), разослал их своим друзьям Аутлуком, поотвечал на почту и лишь за тем взялся за увлекательнейшее дело составления руководства по сборке трансмиссии в Ворде и работу с непомерными таблицами с финансовыми результатами деятельности каких-то отделов в Икселе (очень похожий сценарий наблюдается, кстати, и в тестах SYSmark этого же производителя, а от MobileMark 2002 отличия вообще гомеопатические).

Результирующими показателями являются продолжительность теста в минутах и показатель быстродействия, отнесенный к производительности (принятой за 100) референсной тестовой платформы, в качестве которой выступает не самый новый Compaq Armada M700, хотя и в неплохой (даже по нынешним временам) конфигурации:

Compaq Armada M700: Pentium III 1.0 GHz (100 MHz FSB), 256 MB SDRAM PC100 CL2, Video ATI Rage P/M Mobility AGP2X (8 MB, 1024x768 with 32 bpp color), HDD 30GB IBM DJSA-230 ATA/66 FAT32, Intel PRO/100+ MiniPCI Network Card; Microsoft Windows XP Professional (Build 2600), Power scheme – Always On, Video Driver: ATI Rage Mobility (Compaq) 5.01.2195.5012.

Показатель производительности вычисляется практически по тем же методикам, что и в тестах SYSmark 2002 и 2004.

Мы бы от себя и на основании собственно опыта тестирования ноутбуков добавили, что сюда же не помешает ввести показатель «эффективности» или «вычислительного запаса» ноутбука как произведение Performance Rating на измеренное при этом время работа от батареи – он, в частности, оценивает, запас работы, которую можно сделать на ноутбуке автономно (см., например, обзоры на www.ferra.ru/online/mobilis/19816/  и www.ferra.ru/online/mobilis/24836/).

Reader 2002SE

Здесь «голем» тоже приятно удивил – уселся за чтение HTML-варианта «Войны и Мира» Лео Толстого ;)

правда, опять же в маргинальном Netscape Communicator 6.01 (хотя вариант с использованием Adobe Reader мог бы оказаться куда более «жизненным», особенно если задействовать его самую последнюю версию, поддержку грядущего формата Universal 3D и соответствующий контент). Результирующим показателем является продолжительность теста в минутах.

Тесты Productivity 2002SE и Reader 2002SE остались практически неизменными со времени MobileMark 2002, были лишь незначительно подкорректированы с учетом вышедшего второго сервис-пака для Windows XP, однако в BAPCo считают, что сравнивать показатели, полученные старой и новой версиях MobileMark, некорректно.

Добавление DVD Playback 2005 и Wireless browsing 2005, отсутствовавших в предыдущей версии пакета, является событием, безусловно отвечающим требованиям времени, причем в случае с DVD Playback 2005 даже несколько запоздалым. Wireless browsing 2005 же действительно поспел вовремя – широкое распространение беспроводных сетей, катализированное феноменальным успехом Интеловской платформы Centrino, началось лишь в последнее время. Жаль лишь, что Wireless browsing 2005 измеряет только время жизни от батареи и совсем не уделяет внимания производительности – например, времени открытия страниц, скорости трафика и пр.

Среди новшеств в области usability теста выделяются новая графическая оболочка пакета, упрощенная процедура установки и появившиеся система отчета об ошибках и встроенная система анализа возможных проблем. Всё это, по заверениям разработчиков, должно повысить общую устойчивость работы пакета.

Как уже говорилось, тесты представляют собой эмуляцию работы пользователя в типичных офисных задачах. Делается это посредством выполнения скриптов, запускающих соответствующие приложения и эмулирующих работу пользователя с ними. При этом для большей реалистичности BAPCo учитывает три основных тренда пользовательского поведения при использовании мобильного компьютера:

• переключение между приложениями – пользователи обычно держат открытыми одновременно несколько приложений и переключаются между ними;
• параллельное выполнение – помимо переключения между приложениями, пользователи также зачастую во время работы с одним из приложений запускает другое в фоновом режиме – например, параллельно работе с Вордом может осуществляться проверка компьютера на вирусы или архивирование документов;
• время реакции – человек набирает текст с определенной скоростью, ему требуется время на ознакомление с содержимым документа или для нахождения нужного документа на диске и т.д.; соответственно, в исполнении скриптов необходимы соответствующие временные задержки. Эти же периоды простоя могут использоваться операционной системой для внутренних нужд, от дефрагментации дисков до снижения частоты процессора, что также приближает тест к реальности.

Используемые в тестах приложения их версии и соответствующие им решаемые задачи приведены в таблице 1.

На первый взгляд может показаться, что в BAPCo не особенно расстаралась соответствовать духу времени – набор и версии приложений совсем не изменились со времени предыдущей (2002-й) версии теста (фактически, изменения коснулись лишь обеспечения совместимости со вторым сервис-паком Windows XP), в реальной же жизни все приложения уже давно подросли как минимум на одну версию, а некоторые так и на все три, и именно их нам хотелось бы видеть в новейшей версии пакета. Но думается, такой неторопливый подход более соответствует здоровому консервативному корпоративному духу – заплатив по-честному за этот полный комплект ПО фактически вторую стоимость ноутбука, апгрейдить его без веских оснований не будешь, а ведь далеко не всегда новая версия программы радует нас революционными улучшениями.

Суммарный рейтинг (по результатам всех 4 тестов) в MobileMark 2005 принципиально не высчитывается, так как в BAPCo не без оснований полагают, что сравнивать с помощью единого итогового показателя качество решения столь разных задач некорректно и бессмысленно.

Условия лицензионного соглашения подробно оговаривают методологию измерений, проводимых с помощью MobileMark 2005, прежде всего в том, что касается параметров, которые могут существенно повлиять на результаты измерений. Так, в частности, относительно яркости дисплея при проведении тестов BAPCo настаивает на инструментальном контроле с тем, чтобы она соответствовала 60 нитам. Оговариваются также параметры аудиосистемы и описывается методика работы с батареями. Обосновывается выбор видеофрагментов для теста DVD playback 2005 и показателей трафика в тесте Wireless browsing 2005. При невозможности удовлетворения всем требованиям результаты тестирования могут использоваться только для внутреннего применения и не могут быть опубликованы.

Установка пакета

Если вы думаете, что для установки пакета достаточно вставить MobileMark 2005 Install DVD в привод и запустить setup – таки нет. :) В таблице 2 приведены требования к минимальной конфигурации компьютера, которые сразу несколько охлаждают пыл.

Если требования к аппаратной части более чем лояльны, то любителям родного языка придется туговато – русская локализованная версия Windows XP отсутствует в списке поддерживаемых, а для других иноязычных (по отношению к английской) версий потребуются дополнительные манипуляции по изменению статуса английского языка в системе. И это уже не говоря о том, что если вы ярый приверженец других (предыдущий или последующих) версий Windows (о Linux мы даже не заикаемся ;)), то «прогресс BAPCo» вас обойдет стороной. Дальше – больше: поскольку при инсталляции на компьютер устанавливаются адаптированные версии приложений, перечисленных в таблице 1, (см. рис.),

то если на вашем компьютере установлены ЛЮБЫЕ версии таковых (включая и предыдущие версии ), они подлежат предварительному обязательному сносу. Кроме того, MobileMark 2005 несовместим с любым антивирусным ПО, которое также подлежит безжалостному уничтожению. Из всего этого напрашивается вывод, что если вас так и распирает от любопытства узнать, что думает MobileMark 2005 по поводу вашего ноутбука, наилучшим вариантом будет инсталлировать пакет на свежеустановленную английскую версию Windows XP, предварительно сохранив в файле образа свою текущую рабочую среду посредством Acronis True Image или других аналогичных утилит. Это гораздо проще, нежели заниматься выкорчёвыванием изобихоженных приложений с последующим укоренением капризного пришельца.

Установив MobileMark 2005, мы можем приступить к тестированию системы.

Если MobileMark 2005 запускается на компьютере первый раз или вы сменили батарею или жесткий диск, BAPCo настоятельно рекомендует сначала запустить System Conditioning. Этот тест не производит какого-либо результирующего показателя и служит для калибровки системы для получения более достоверных и воспроизводимых результатов. В процессе подготовки выбранного теста, MobileMark 2005 анализирует состояние системы на предмет возможных проблем. И если проехать на жёлтый свет (см. рис.)

при желании можно, то на красный это не удастся:

На последнем шаге достаточно отключить ноутбук от сети и тест стартует автоматически

и будет продолжаться до полного истощения батареи (поскольку предупреждение о разряде батареи для теста нужно отключать, ноутбук просто «вырубается» примерно при 1-3% от номинальной емкости батареи). После подключения питания и включения компьютера MobileMark 2005 стартует автоматически и демонстрирует результаты своих замеров.

Полезно и то, что на экране результатов информатор пакета сообщает подробную конфигурацию ноутбука, включая, например, полезную информацию о батарее:

Правда, на втором из использованных нами ноутбуков информатор пакета показал наличие 512 Мбайт памяти вместо установленных 384-х.

Результаты тестирования

От описательной части переходим к тому, для чего, собственно, MobileMark 2005 и предназначен – тестированию ноутбука, в качестве которого выступал первый попавшийся под руку ;) – Roverbook Navigator W510 в следующей конфигурации (таблица 3):

Позднее в этому ноутбуку присоединился еще один: Samsung Q20 (Intel Centrino, Pentium M 1.2 ГГц Low-voltage, 384 MB DDR266, Intel Extreme Graphics, 12” дисплей 1024х768, HDD 40 Гбайт Samsung MP0402H (FAT32), Combo DVD/CDRW).

Тестирование осуществлялось следующим образом: после установки MobileMark 2005 на чистую операционную систему проводились все тесты по оглашенному ранее списку. Далее была проведена «тренировка» системы при помощи System Conditioning и все тесты вновь были проведены по списку в несколько повторений для выяснения стабильности и повторяемости результатов тестирования. Кроме того, для обеспечения связи поколений также на чистую операционную систему была установлена предыдущая версия пакета – MobileMark 2002 – и выполнены тесты из него в несколько повторов.

Яркость экрана Roverbook выставлялась на максимум (и по дефолту у Samsung), звук же напротив, выключался (громкость убиралась до минимума) – слушать в течение двух часов разудалый саундтрек к DVD playback 2005 не каждому под силу. Результаты испытаний сведены в таблицу 4 (для Samsung Q20 во всех тестах, кроме DVD Playback, внешний оптический привод был отключен).

Если стабильность результатов производительности оказалась на приемлемом уровне (разброс по Performance rating составил менее 5%, хотя, на наш взгляд, для точных сравнений ноутбуков это все же многовато), то с результатами по времени жизни от батареи здесь оказалось все куда более странно: мы наблюдали явное и значительное уменьшение времени жизни батареи с каждой новой серией тестов! (Да и время заряда также подозрительно сокращалось по мере тестирования – с почти четырёх часов до полутора.) Безусловно, в руководстве на MobileMark 2005 сказано, что показания тестов Battery life rating могут постепенно уменьшаться со временем – но не до такой же степени? :) Ведь срок «щадящей» эксплуатации этого ноутбука – менее трех месяцев! Очевидно, что в данном случае мы столкнулись с неисправностью ноутбука, которую в повседневной работе было бы выявить весьма проблематично, а тест MobileMark 2005 помог ее обнаружить как нельзя лучше и получить весомую аргументацию при обращении в гарантийный ремонт. ;) Впрочем, процесс «обращения» в данном случае «оброс» дополнительными проблемами, но это уже не предмет данной статьи.

Для дальнейших тестов пакета мы воспользовались недавно вернувшимся из гарантийного ремонта ;) ноутбуком Samsung Q20.

Тут уже все результаты практически «шоколадны»: время жизни батареи повторяется от попытки к попытке с точностью 1-3 минуты (погрешность теста 1-2%!!!), стабильность показаний Performance rating примерно на том же уровне (не хуже 2%), лучшего желать было бы сложно. Более того, время жизни батареи в тесте Productivity обоих пакетов (MobileMark 2005 и 2002) оказалось практически идентичным, хотя показания Performance rating оказались действительно несовместимыми. Можно также отметить, что при самой щадящей нагрузке (Reader) время автономной работы повышается в данном случае на 17% (на 25 минут), а если при этом еще отключить Wireless-контроллер, то достигает вообще трех часов (вместо 2 ч. 25 мин.), подтверждая спецификации, заявленные производителем. Что же касается времени воспроизведения DVD, то в данном случае для этого подключался внешний FireWire-привод из комплекта поставки, поэтому потребление закономерно возрастало.

«Простые» результаты теста MobileMark 2005 дают пищу для более развернутого анализа. В частности, используя показания теста Productivity 2002SE можно вычислить так называемый «вычислительный запас» ноутбука при работе по данной схеме энергосбережения, а кроме того, можно подсчитать «тепловой пакет» ноутбука (среднюю потребляемую им от батареи мощность) при работе по различным сценариям. Подчеркнем, что в данном случае характеристика «вычислительный запас» (см., например, www.ferra.ru/online/mobilis/24836/) определяется нами не как произведение Battery life на абстрактный Performance rating, а как отношение Battery Life (умноженному на 60 секунд) к Average Response Time. Этот параметр (как отношение двух времен) не имеет размерности и, образно говоря, характеризует количество операций («заданий»), которое ПК может выполнить на одной зарядке батареи (аналог количества операций I/O для накопителей, памяти, сети и пр.). На наш взгляд – очень характерный и полезный показатель. Ну а «тепловой пакет» рассчитывается как разность максимальной и минимальной емкости батареи во время теста, деленная на время жизни батареи во время этого теста. Результаты таких расчетов (в предположении, что емкость полностью заряженной батареи во время тестов составляла, как указывается информатором теста, около 25,5 ватт-часов, а при 3% уровне, когда тест прекращался, оставалась на уровне 0,5 ватт-часа), усредненные по трем проходам, приведены в таблице 6.

Зная тепловой пакет ноутбука, можно определить его время работы от батареи при использовании батареи другой емкости (например, увеличенной) в том или ином режиме работы. Кроме того, тепловой пакет напрямую показывает тепловую мощность ноутбука (а значит, и его нагрев) в процессе работы. Полученные данные неплохо согласуются с измеренными нами ранее для этого ноутбука по похожей методике (см. две таблицы на www.computerra.ru/offline/2004/530/32193/page5.html/).

Выводы

Итак, MobileMark 2005 – это серьёзный пакет для серьезных людей, не для любопытствующих тинэйджеров. В пользу этого утверждения говорят как детально описанные требования к условиям проведения тестирования для получения корректных результатов, так и его цена (которая, на наш взгляд, учитывая «узкую» специфику продукта, все же явно завышена). В новой версии своевременно учтены некоторые новые тенденции в применении мобильных компьютеров, прежде всего это касается теста Wireless browsing 2005 – ведь даже у нас за последний год беспроводная связь перестала быть экзотикой. И в нынешнем своём виде MobileMark 2005 вполне может претендовать на роль универсальной «линейки» для индустрии мобильных компьютеров, принимая эстафету от не слишком отличающегося от него MobileMark 2002, хотя привередливые пользователи могут посетовать и на «преклонность» (а порой, и экзотичность) используемых приложений, и некоторую капризность требований к конфигурации, и однобокость оценки производительности (нет ни профессиональной работы типа Content Creation, ни игр). На наш взгляд, тест получился через чур ориентированный на время жизни ноутбука от батареи – в ущерб другим его характеристикам. Поэтому мы рекомендуем для оценки собственно производительности ноутбука дополнительно привлекать другие пакеты – например, SYSmark 2004SE, PCmark04 и 3Dmark (с поправками на использование режимов энергосбережения ноутбука). Впрочем, используя результаты тестов MobileMark 2005 можно посчитать и другие полезные характеристики ноутбука – вычислительный запас и тепловой пакет при работе в различных режимах энергосбережения и нагрузки. Без некоторых заскоков при тестировании у MobileMark 2005 (как, кстати, и у других продуктов этого производителя), конечно, тоже не обошлось, но в целом пакет не выглядит таким уж сырым, как можно было бы ожидать, опираясь на опыт общения с другими свежевыпущенными версиями ПО (например, на втором из использованных нами ноутбуков тест установился и многократно прошел без единого сбоя).