Тест MobileMark 2005 – новый «эталон» для ноутбуков

...и удобный инструмент для обнаружения неисправности системы автономного питания в сравнении с предшественником MobileMark 2002.

Установка пакета

Если вы думаете, что для установки пакета достаточно вставить MobileMark 2005 Install DVD в привод и запустить setup – таки нет. :) В таблице 2 приведены требования к минимальной конфигурации компьютера, которые сразу несколько охлаждают пыл.

Если требования к аппаратной части более чем лояльны, то любителям родного языка придется туговато – русская локализованная версия Windows XP отсутствует в списке поддерживаемых, а для других иноязычных (по отношению к английской) версий потребуются дополнительные манипуляции по изменению статуса английского языка в системе. И это уже не говоря о том, что если вы ярый приверженец других (предыдущий или последующих) версий Windows (о Linux мы даже не заикаемся ;)), то «прогресс BAPCo» вас обойдет стороной. Дальше – больше: поскольку при инсталляции на компьютер устанавливаются адаптированные версии приложений, перечисленных в таблице 1, (см. рис.),

то если на вашем компьютере установлены ЛЮБЫЕ версии таковых (включая и предыдущие версии ), они подлежат предварительному обязательному сносу. Кроме того, MobileMark 2005 несовместим с любым антивирусным ПО, которое также подлежит безжалостному уничтожению. Из всего этого напрашивается вывод, что если вас так и распирает от любопытства узнать, что думает MobileMark 2005 по поводу вашего ноутбука, наилучшим вариантом будет инсталлировать пакет на свежеустановленную английскую версию Windows XP, предварительно сохранив в файле образа свою текущую рабочую среду посредством Acronis True Image или других аналогичных утилит. Это гораздо проще, нежели заниматься выкорчёвыванием изобихоженных приложений с последующим укоренением капризного пришельца.

Установив MobileMark 2005, мы можем приступить к тестированию системы.

Если MobileMark 2005 запускается на компьютере первый раз или вы сменили батарею или жесткий диск, BAPCo настоятельно рекомендует сначала запустить System Conditioning. Этот тест не производит какого-либо результирующего показателя и служит для калибровки системы для получения более достоверных и воспроизводимых результатов. В процессе подготовки выбранного теста, MobileMark 2005 анализирует состояние системы на предмет возможных проблем. И если проехать на жёлтый свет (см. рис.)

при желании можно, то на красный это не удастся:

На последнем шаге достаточно отключить ноутбук от сети и тест стартует автоматически

и будет продолжаться до полного истощения батареи (поскольку предупреждение о разряде батареи для теста нужно отключать, ноутбук просто «вырубается» примерно при 1-3% от номинальной емкости батареи). После подключения питания и включения компьютера MobileMark 2005 стартует автоматически и демонстрирует результаты своих замеров.

Полезно и то, что на экране результатов информатор пакета сообщает подробную конфигурацию ноутбука, включая, например, полезную информацию о батарее:

Правда, на втором из использованных нами ноутбуков информатор пакета показал наличие 512 Мбайт памяти вместо установленных 384-х.

Результаты тестирования

От описательной части переходим к тому, для чего, собственно, MobileMark 2005 и предназначен – тестированию ноутбука, в качестве которого выступал первый попавшийся под руку ;) – Roverbook Navigator W510 в следующей конфигурации (таблица 3):

Позднее в этому ноутбуку присоединился еще один: Samsung Q20 (Intel Centrino, Pentium M 1.2 ГГц Low-voltage, 384 MB DDR266, Intel Extreme Graphics, 12” дисплей 1024х768, HDD 40 Гбайт Samsung MP0402H (FAT32), Combo DVD/CDRW).

Тестирование осуществлялось следующим образом: после установки MobileMark 2005 на чистую операционную систему проводились все тесты по оглашенному ранее списку. Далее была проведена «тренировка» системы при помощи System Conditioning и все тесты вновь были проведены по списку в несколько повторений для выяснения стабильности и повторяемости результатов тестирования. Кроме того, для обеспечения связи поколений также на чистую операционную систему была установлена предыдущая версия пакета – MobileMark 2002 – и выполнены тесты из него в несколько повторов.

Яркость экрана Roverbook выставлялась на максимум (и по дефолту у Samsung), звук же напротив, выключался (громкость убиралась до минимума) – слушать в течение двух часов разудалый саундтрек к DVD playback 2005 не каждому под силу. Результаты испытаний сведены в таблицу 4 (для Samsung Q20 во всех тестах, кроме DVD Playback, внешний оптический привод был отключен).

Если стабильность результатов производительности оказалась на приемлемом уровне (разброс по Performance rating составил менее 5%, хотя, на наш взгляд, для точных сравнений ноутбуков это все же многовато), то с результатами по времени жизни от батареи здесь оказалось все куда более странно: мы наблюдали явное и значительное уменьшение времени жизни батареи с каждой новой серией тестов! (Да и время заряда также подозрительно сокращалось по мере тестирования – с почти четырёх часов до полутора.) Безусловно, в руководстве на MobileMark 2005 сказано, что показания тестов Battery life rating могут постепенно уменьшаться со временем – но не до такой же степени? :) Ведь срок «щадящей» эксплуатации этого ноутбука – менее трех месяцев! Очевидно, что в данном случае мы столкнулись с неисправностью ноутбука, которую в повседневной работе было бы выявить весьма проблематично, а тест MobileMark 2005 помог ее обнаружить как нельзя лучше и получить весомую аргументацию при обращении в гарантийный ремонт. ;) Впрочем, процесс «обращения» в данном случае «оброс» дополнительными проблемами, но это уже не предмет данной статьи.

Для дальнейших тестов пакета мы воспользовались недавно вернувшимся из гарантийного ремонта ;) ноутбуком Samsung Q20.

Тут уже все результаты практически «шоколадны»: время жизни батареи повторяется от попытки к попытке с точностью 1-3 минуты (погрешность теста 1-2%!!!), стабильность показаний Performance rating примерно на том же уровне (не хуже 2%), лучшего желать было бы сложно. Более того, время жизни батареи в тесте Productivity обоих пакетов (MobileMark 2005 и 2002) оказалось практически идентичным, хотя показания Performance rating оказались действительно несовместимыми. Можно также отметить, что при самой щадящей нагрузке (Reader) время автономной работы повышается в данном случае на 17% (на 25 минут), а если при этом еще отключить Wireless-контроллер, то достигает вообще трех часов (вместо 2 ч. 25 мин.), подтверждая спецификации, заявленные производителем. Что же касается времени воспроизведения DVD, то в данном случае для этого подключался внешний FireWire-привод из комплекта поставки, поэтому потребление закономерно возрастало.

«Простые» результаты теста MobileMark 2005 дают пищу для более развернутого анализа. В частности, используя показания теста Productivity 2002SE можно вычислить так называемый «вычислительный запас» ноутбука при работе по данной схеме энергосбережения, а кроме того, можно подсчитать «тепловой пакет» ноутбука (среднюю потребляемую им от батареи мощность) при работе по различным сценариям. Подчеркнем, что в данном случае характеристика «вычислительный запас» (см., например, www.ferra.ru/online/mobilis/24836/) определяется нами не как произведение Battery life на абстрактный Performance rating, а как отношение Battery Life (умноженному на 60 секунд) к Average Response Time. Этот параметр (как отношение двух времен) не имеет размерности и, образно говоря, характеризует количество операций («заданий»), которое ПК может выполнить на одной зарядке батареи (аналог количества операций I/O для накопителей, памяти, сети и пр.). На наш взгляд – очень характерный и полезный показатель. Ну а «тепловой пакет» рассчитывается как разность максимальной и минимальной емкости батареи во время теста, деленная на время жизни батареи во время этого теста. Результаты таких расчетов (в предположении, что емкость полностью заряженной батареи во время тестов составляла, как указывается информатором теста, около 25,5 ватт-часов, а при 3% уровне, когда тест прекращался, оставалась на уровне 0,5 ватт-часа), усредненные по трем проходам, приведены в таблице 6.

Зная тепловой пакет ноутбука, можно определить его время работы от батареи при использовании батареи другой емкости (например, увеличенной) в том или ином режиме работы. Кроме того, тепловой пакет напрямую показывает тепловую мощность ноутбука (а значит, и его нагрев) в процессе работы. Полученные данные неплохо согласуются с измеренными нами ранее для этого ноутбука по похожей методике (см. две таблицы на www.computerra.ru/offline/2004/530/32193/page5.html/).

Выводы

Итак, MobileMark 2005 – это серьёзный пакет для серьезных людей, не для любопытствующих тинэйджеров. В пользу этого утверждения говорят как детально описанные требования к условиям проведения тестирования для получения корректных результатов, так и его цена (которая, на наш взгляд, учитывая «узкую» специфику продукта, все же явно завышена). В новой версии своевременно учтены некоторые новые тенденции в применении мобильных компьютеров, прежде всего это касается теста Wireless browsing 2005 – ведь даже у нас за последний год беспроводная связь перестала быть экзотикой. И в нынешнем своём виде MobileMark 2005 вполне может претендовать на роль универсальной «линейки» для индустрии мобильных компьютеров, принимая эстафету от не слишком отличающегося от него MobileMark 2002, хотя привередливые пользователи могут посетовать и на «преклонность» (а порой, и экзотичность) используемых приложений, и некоторую капризность требований к конфигурации, и однобокость оценки производительности (нет ни профессиональной работы типа Content Creation, ни игр). На наш взгляд, тест получился через чур ориентированный на время жизни ноутбука от батареи – в ущерб другим его характеристикам. Поэтому мы рекомендуем для оценки собственно производительности ноутбука дополнительно привлекать другие пакеты – например, SYSmark 2004SE, PCmark04 и 3Dmark (с поправками на использование режимов энергосбережения ноутбука). Впрочем, используя результаты тестов MobileMark 2005 можно посчитать и другие полезные характеристики ноутбука – вычислительный запас и тепловой пакет при работе в различных режимах энергосбережения и нагрузки. Без некоторых заскоков при тестировании у MobileMark 2005 (как, кстати, и у других продуктов этого производителя), конечно, тоже не обошлось, но в целом пакет не выглядит таким уж сырым, как можно было бы ожидать, опираясь на опыт общения с другими свежевыпущенными версиями ПО (например, на втором из использованных нами ноутбуков тест установился и многократно прошел без единого сбоя).