Тест MobileMark 2005 – новый «эталон» для ноутбуков

Алекс Карабуто, info@ferra.ru
Соавтор(ы): Александр Бурнацев
Тест MobileMark 2005 – новый «эталон» для ноутбуков
...и удобный инструмент для обнаружения неисправности системы автономного питания в сравнении с предшественником MobileMark 2002.

26 мая в Сан-Матео, Калифорния, корпорация с не самым благозвучным для русского уха названием BAPCo представила новейшую версию пакета для оценки производительности и времени работы ноутбуков от батареи с реальными приложениями – MobileMark 2005.

MobileMark 2005

Поскольку наша жизнь становится всё более мобильной («мобилизированной»? :)) – так, например, в прошедшем мае впервые в истории уровень продаж мобильных компьютеров на рынке США оказался даже выше, нежели их настольных собратьев, – то производителям и, конечно, нам, пользователям, хотелось бы иметь под рукой удобный универсальный инструментарий, позволяющий судить не только о быстродействии ноутбуков, но и о продолжительности их автономной работы, которую мы всеми силами стремимся увеличивать. ;)

Посмотрим, насколько MobileMark 2005 отвечает этим чаяниям и реалиям времени, - ведь с момента выпуска предыдущей версии пакета, MobileMark 2002 (которая уже стала своеобразным стандартом в это области), прошло целых три года – а это немалое время по меркам IT-индустрии.

Краткий обзор пакета

BAPCo (Business Applications Performance Corporation) – это бесприбыльный консорциум ведущих игроков компьютерной индустрии (см. рисунок).

Business Applications Performance Corporation

Бесприбыльность не означает, что тестовые пакеты, разрабатываемые этой организацией (а среди них – SYSmark, MobileMark и WebMark разных версий), раздаются задаром: удовлетворить любопытство и узнать о достоинствах своего или иного ноутбука законным образом будет стоить – придержите челюсть – 499 долларов США (причем, это в индивидуальном порядке, см. https://shop.futuremark.com/shop/, тогда как для организаций «порок любопытства» обойдется вдвое дороже – см. www.bapcostore.com/store/home.php?cat=250). Из чего следует, что пакет предназначен не для рядовых законопослушных пользователей, а для профессионалов, так или иначе занятых на рынке мобильных компьютеров. Незаконопослушные же и просто любопытные при попытке удовлетворения своего «порока» (любопытства ;)) встретятся со значительными трудностями – сам размер пакета служит естественным препятствием для, скажем, скачивания его из Интернета, поскольку в стандартной на вид коробочке DVD присутствуют аж три диска – два DVD и один CD:

• MobileMark 2005 Install DVD (DVD-ROM)– собственно установочный диск пакета;
• DVD Playback Media (DVD-Video) – диск с двухчасовым видеофильмом предоставленным BMW, используется для теста DVD Playback 2005;
• Wireless Server 2005 (CD-ROM) – загрузочный CD-ROM с ОС KNOPPIX, загружаемый на посторонний компьютер для эмуляции сёрфинга по Интернету в тесте Wireless 2005.

MobileMark 2005

Идеологически подход корпорации к формированию тестового пакета выглядит следующим образом: проанализировав основные варианты использования мобильных компьютеров в повседневной профессиональной деятельности, эксперты BAPCo выделили 4 таковых, в соответствии с которыми были сформированы следующие сценарии тестов (workloads в терминологии BAPCo):

DVD Playback 2005

Этот сценарий основан на рекламном видеоролике от BMW длиной 1 ч. 55 мин., который просто воспроизводится в полноэкранном режиме при помощи программы InterVideo WinDVD 6.0 до полной разрядки батареи. Тест отсутствовал в предыдущей версии пакета.

рекламный видеоролик от BMW

Видео могло бы быть практически любым – подробные изыски BAPCo в воспроизведении различных жанров, от боевиков до мультиков, не выявили сколько-нибудь заметной зависимости продолжительности автономной работы мобильных компьютеров от видеоконтента. Результирующим показателем является продолжительность теста в минутах.

Wireless browsing 2005

Этот сценарий описывает работу пользователя с поисковой системой через беспроводную сеть – c ноутбука по беспроводной сети отправляется запрос серверу (который представляет собой компьютер, подключенный к точке доступа посредством проводного сегмента, с загруженной с диска Wireless Server 2005 CD-ROM операционной системой KNOPPIX) и затем последовательно просматриваются ссылки с некоторой временной задержкой – для ознакомления с содержимым. Средний размер загружаемых веб-страниц составляет 150 Кбайт, что несколько больше, нежели среднее значение таковых для основных поисковых систем – но, как считают в BAPCo, это отражает общую тенденцию к утяжелению веб-контента и расширению пользовательских каналов доступа к Интернету.

MobileMark 2005 - Wireless browsing

Тест продолжается до полной разрядки батарей. Результирующим показателем является продолжительность теста в минутах. Этот тест также отсутствовал в предыдущей версии пакета.

Productivity 2002SE

Этот сценарий (называемый в «белой статье» на bapco.com по старинке как Office productivity 2002SE) нацелен производителем не столько на определение быстродействия ноутбука, сколько на тест времени его жизни от батареи при выполнении типичных офисных задач (отмечается даже, что собственно производительность здесь индицируется просто «для справки», показывая, на какое среднее время отклика может рассчитывать пользователь, когда работает от батареи по такому бизнес-сценарию). Время отклика (Response time) в тесте MobileMark 2005 (Office productivity 2002SE) определяется как время, которое требуется для того, чтобы компьютер завершил задачу, инициированную нажатием клавиатуры или мыши (они имитируются скриптом). На базе среднего времени отклика вычисляется Performance Rating (см. ниже).

Собственно сценарий описывает работу абстрактного «мобильного» служащего некоей (угадайте, какой ;-)) автомобильной компании, который использует в своей работе набор типичных офисных приложений: великолепную четверку из состава MS Office (Word, Excel, PowerPoint, Outlook, правда, не самой новой версии – 2002), Adobe Photoshop (версии 6.0.1) и Macromedia Flash версии 5.0. Для просмотра HTML-версий документов наш «голем» почему-то использует полузабытый Netscape Communicator 6.01, ну, да что с него взять – видимо, тут учтена инерция, с которой официально используемые сотрудниками программные продукты обновляются в крупных корпорациях. ;) Параллельно работе с документами, пользователь в фоновом режиме проверяет свой ноутбук на наличие вирусов и архивирует (восьмым «винзипом») папку Program Files (последнее у нас лично вызывает особое умиление – ну да ладно, содержимое этой папки, как правило, неплохо представляет разнообразие файлового контента, в среднем архивируемое пользователями).

Надо отметить, что «голем» оказался вполне «нашим» человеком – по приходе на работу он взялся за редактирование в Фотошопе фотографий со сценами каякинга (очевидно, только что из отпуска), разослал их своим друзьям Аутлуком, поотвечал на почту и лишь за тем взялся за увлекательнейшее дело составления руководства по сборке трансмиссии в Ворде и работу с непомерными таблицами с финансовыми результатами деятельности каких-то отделов в Икселе (очень похожий сценарий наблюдается, кстати, и в тестах SYSmark этого же производителя, а от MobileMark 2002 отличия вообще гомеопатические).

MobileMark 2005 - офисные приложения

Результирующими показателями являются продолжительность теста в минутах и показатель быстродействия, отнесенный к производительности (принятой за 100) референсной тестовой платформы, в качестве которой выступает не самый новый Compaq Armada M700, хотя и в неплохой (даже по нынешним временам) конфигурации:

Compaq Armada M700: Pentium III 1.0 GHz (100 MHz FSB), 256 MB SDRAM PC100 CL2, Video ATI Rage P/M Mobility AGP2X (8 MB, 1024x768 with 32 bpp color), HDD 30GB IBM DJSA-230 ATA/66 FAT32, Intel PRO/100+ MiniPCI Network Card; Microsoft Windows XP Professional (Build 2600), Power scheme – Always On, Video Driver: ATI Rage Mobility (Compaq) 5.01.2195.5012.

Показатель производительности вычисляется практически по тем же методикам, что и в тестах SYSmark 2002 и 2004.

Мы бы от себя и на основании собственно опыта тестирования ноутбуков добавили, что сюда же не помешает ввести показатель «эффективности» или «вычислительного запаса» ноутбука как произведение Performance Rating на измеренное при этом время работа от батареи – он, в частности, оценивает, запас работы, которую можно сделать на ноутбуке автономно (см., например, обзоры на www.ferra.ru/online/mobilis/19816/  и www.ferra.ru/online/mobilis/24836/).

Reader 2002SE

Здесь «голем» тоже приятно удивил – уселся за чтение HTML-варианта «Войны и Мира» Лео Толстого ;)

Reader 2002SE

правда, опять же в маргинальном Netscape Communicator 6.01 (хотя вариант с использованием Adobe Reader мог бы оказаться куда более «жизненным», особенно если задействовать его самую последнюю версию, поддержку грядущего формата Universal 3D и соответствующий контент). Результирующим показателем является продолжительность теста в минутах.

Тесты Productivity 2002SE и Reader 2002SE остались практически неизменными со времени MobileMark 2002, были лишь незначительно подкорректированы с учетом вышедшего второго сервис-пака для Windows XP, однако в BAPCo считают, что сравнивать показатели, полученные старой и новой версиях MobileMark, некорректно.

Добавление DVD Playback 2005 и Wireless browsing 2005, отсутствовавших в предыдущей версии пакета, является событием, безусловно отвечающим требованиям времени, причем в случае с DVD Playback 2005 даже несколько запоздалым. Wireless browsing 2005 же действительно поспел вовремя – широкое распространение беспроводных сетей, катализированное феноменальным успехом Интеловской платформы Centrino, началось лишь в последнее время. Жаль лишь, что Wireless browsing 2005 измеряет только время жизни от батареи и совсем не уделяет внимания производительности – например, времени открытия страниц, скорости трафика и пр.

Среди новшеств в области usability теста выделяются новая графическая оболочка пакета, упрощенная процедура установки и появившиеся система отчета об ошибках и встроенная система анализа возможных проблем. Всё это, по заверениям разработчиков, должно повысить общую устойчивость работы пакета.

Как уже говорилось, тесты представляют собой эмуляцию работы пользователя в типичных офисных задачах. Делается это посредством выполнения скриптов, запускающих соответствующие приложения и эмулирующих работу пользователя с ними. При этом для большей реалистичности BAPCo учитывает три основных тренда пользовательского поведения при использовании мобильного компьютера:

• переключение между приложениями – пользователи обычно держат открытыми одновременно несколько приложений и переключаются между ними;
• параллельное выполнение – помимо переключения между приложениями, пользователи также зачастую во время работы с одним из приложений запускает другое в фоновом режиме – например, параллельно работе с Вордом может осуществляться проверка компьютера на вирусы или архивирование документов;
• время реакции – человек набирает текст с определенной скоростью, ему требуется время на ознакомление с содержимым документа или для нахождения нужного документа на диске и т.д.; соответственно, в исполнении скриптов необходимы соответствующие временные задержки. Эти же периоды простоя могут использоваться операционной системой для внутренних нужд, от дефрагментации дисков до снижения частоты процессора, что также приближает тест к реальности.

Используемые в тестах приложения их версии и соответствующие им решаемые задачи приведены в таблице 1.

Таблица 1. Приложения, используемые в тестах MobileMark 2005

Тест

Приложение

Версия

Тип задачи

DVD playback 2005

InterVideo WinDVD

6.0

Воспроизведение DVD

Wireless browsing 2005

Microsoft Internet Explorer

Та, что установлена в ОС

Беспроводной серфинг в Интернете

Productivity 2002SE

Adobe Photoshop

6.0.1

Подготовка изображений для презентаций

Netscape Communicator

6.01

Просмотр HTML-версий документов

Macromedia Flash

5.0

Анимация для презентаций

Microsoft Word Excel PowerPoint Outlook

2002

Обработка текстов, таблиц с данными, подготовка презентаций и работа с почтой

Network Associates McAfee VirusScan

5.13

Обеспечение безопасной среды для работы

WinZip Computing WinZip

8.0

Архивирование

Reader2002SE

Netscape Communicator

6.01

Чтение книги с дисплея

На первый взгляд может показаться, что в BAPCo не особенно расстаралась соответствовать духу времени – набор и версии приложений совсем не изменились со времени предыдущей (2002-й) версии теста (фактически, изменения коснулись лишь обеспечения совместимости со вторым сервис-паком Windows XP), в реальной же жизни все приложения уже давно подросли как минимум на одну версию, а некоторые так и на все три, и именно их нам хотелось бы видеть в новейшей версии пакета. Но думается, такой неторопливый подход более соответствует здоровому консервативному корпоративному духу – заплатив по-честному за этот полный комплект ПО фактически вторую стоимость ноутбука, апгрейдить его без веских оснований не будешь, а ведь далеко не всегда новая версия программы радует нас революционными улучшениями.

Суммарный рейтинг (по результатам всех 4 тестов) в MobileMark 2005 принципиально не высчитывается, так как в BAPCo не без оснований полагают, что сравнивать с помощью единого итогового показателя качество решения столь разных задач некорректно и бессмысленно.

Условия лицензионного соглашения подробно оговаривают методологию измерений, проводимых с помощью MobileMark 2005, прежде всего в том, что касается параметров, которые могут существенно повлиять на результаты измерений. Так, в частности, относительно яркости дисплея при проведении тестов BAPCo настаивает на инструментальном контроле с тем, чтобы она соответствовала 60 нитам. Оговариваются также параметры аудиосистемы и описывается методика работы с батареями. Обосновывается выбор видеофрагментов для теста DVD playback 2005 и показателей трафика в тесте Wireless browsing 2005. При невозможности удовлетворения всем требованиям результаты тестирования могут использоваться только для внутреннего применения и не могут быть опубликованы.

Страница: 12
Поделиться:
Увидел опечатку? Выдели текст и нажми Ctrl+Enter
Мобильное приложение