Записки из тестлаба: телефоны и смартфоны

Всё очень просто: есть девайс, и он работает. Мы же, в свою очередь, пытаемся установить, как хорошо он работает. В этом нам помогают бенчмарки. Зачем они пользователю? Сами по себе – пожалуй, что и незачем. А вот их результаты сгодятся. Выбирать-то в любом случае вам.

Jbenchmark 3D

Этот тестовый пакет был выпущен относительно недавно – приблизительно весной этого года. На тот момент запускался он на считанных моделях. Однако ближе к осени ситуация изменилась в лучшую сторону, и поддержкой M3G/JSR 184 уже никого не удивишь. Тем не менее, бенчмарк изрядно отличается от своих предшественников. Во-первых, в нём всего лишь четыре микротеста, а во-вторых, общего рейтинга он не выдаёт, ограничиваясь оценками за каждое испытание. Такой подход в случае с Jbenchmark 3D более чем оправдан, поскольку, по сути, его можно разделить на две части: «теоретическую» и «практическую».

Что касается первого витка испытаний, то он слегка оторван от действительности. Впрочем, его значения это никак не умаляет. Дело в том, что результаты двух микротестов (Triangle Test и Texture Test ) отображаются не во всеми любимых «попугаях», которые получились путём неизвестно каких вычислений, и которые, по сути, можно лишь сравнить между собой, а во вполне конкретных значениях, общих для всей трёхмерной графикой. При выполнении Triangle Test обсчитывается довольно сложная полигональная модель, а в Texturing Test работа ведётся с текстурой. Итоговое значение производительности отображается, соответственно, в triangles ps и texels ps. Этот хитрый сленг прекрасно поймут люди сведущие, а для остальных упростим: два этих испытания, грубо говоря, показывают, насколько успешно аппарат сможет обсчитать трёхмерную модель и обтянуть её текстурой. Сведения, между прочим, очень ярко иллюстрирующие работу графической подсистемы телефона.

Вторая часть – непосредственно игровая (Game Scene). На экране в реальном времени обсчитывается сцена из 3D-шутера от первого лица и замеряется fps. Что характерно: сцена и все объекты на самом деле трёхмерны – ни единого спрайта, а на одной вертикальной оси может находиться несколько объектов. Таким образом, убиты два зайца: отличная встряска всех внутренностей аппарата плюс демонстрация того, что сложная 3D-графика для J2ME – это реалии сегодняшнего дня. Испытание разбито на две части: LQ и HQ. Проще говоря, бенчмарк заставляет телефон обсчитывать игровую сцену в высоком и низком качестве. Как видите, всё просто, и ничего сверхъестественного в следующей таблице нет.

Довольно скромные результаты, смеем вам доложить. Nokia 6230i справилась с этим гораздо лучше. Да, кстати, все результаты-иллюстрации рассказа о Jbenchmark получены путём терзания одного из последних чистокровных «немцев» Siemens CX75, одна из главных фишек при позиционировании которого – поддержка M3G/JSR 184.

Amark

В качестве альтернативы мы иногда используем тест от другого производителя под названием Amark. На самом деле, выполняет он те же функции и терзает телефон теми же задачами, что и Jbenchmark. Даже результаты показываются в виде «попугаев» – естественно, своих. Только называется это всё по-разному. Так что обращать на него внимание мы не будем. Все тесты в Amark «свалены» в одну кучу и аппарат изо всех пытается справиться то с задачами для MIDP 1.0, то испытаниями для MIDP 2.0, а то и с трёхмерной графикой.

Спидометр смартфона

Естественно, «умнотелефон» – это далеко не только Java и возможность работы с графикой. Люди любят смартфоны, в первую очередь, за мощнейшие PIM-функции: продвинутую телефонную книгу, мощный органайзер etc. Таланты мультимедийного характера также всё-таки не стоит оставлять в стороне – большинство пользователей склонны рассматривать смартфон, как этакий комбайн, который знает и умеет всего понемногу. Ну а недостающие способности, конечно же, легко восполняются посредством стороннего ПО, коего на наш век уже создано предостаточно. Возможности софтописания для смартфонов не ограничены довольно узконаправленной J2ME, а мощности аппаратной начинки с обычными телефонами просто несопоставимы. Шире функциональность – шире простор для их испытаний. К сожалению, для MS Windows Mobile SE адекватной утилиты пока не нашлось (определённый интерес вызывает специальная версия VOBenchmark, однако в тестовый инструментарий она пока не включена), так что приходится «детям капитала» пока обходится Jbenchmark. А вот с Series 60 ситуация куда радужней.

Встречайте: SPMark04, детище маститых тестоваятелей Futuremark – самый продвинутый и мощный пакет для тестирования смартфонов на SymbianOS Series 60. Этой утилитой терзается каждый «интеллигент» EPOC32-кровей, попавший в наш тестлаб.

SPMark 04

Как и полагается истинному инструменту профессионала, этот пакет – платный. Причём стоит совсем даже не шуточную сумму – порядка $250. Для свободного скачивания доступна триальная версия, обрезанная на две трети. Впрочем, самая интересная часть (трёхмерный тест) оставлена на месте, и каждый желающий может скачать приложение и поверить в мобильное 3D. Нас же с вами интересует полная версия этой утилиты. «Весит» она, кстати, для SIS-приложения весьма изрядно – порядка 670 Kбайт. Впрочем, тем убедительнее бенчмарк выглядит.

SPMark04 состоит из трёх тестовых наборов, каждый из которых можно запустить в отдельности. Тем не менее, общий рейтинг (количество т. н. «SPMarks») смартфон получает исключительно в случае «прокрутки» бенчмарка «от корки до корки». Некоторые субтесты выводят на экран впечатляющую картинку, а некоторые – делают своё чёрное дело втихаря, обращаясь напрямую к системным ресурсам.

3D Tests

Этот набор нужно запускать перед носом каждого знакомого мобильного традиционалиста. Очень наглядно, знаете ли, иллюстрируют чудеса научно-технического прогресса. Да и некоторым пользователям неплохо было бы убедиться, что «смартфон – это звучит гордо».

3D Game. На экране происходит всамделишная воздушная битва: на фоне красивых и вполне себе реалистичных пейзажей летает боевой вертолёт и почём зря отстреливает противников. Всё это сопровождается безумными движениями камеры, которая своими виражами просто-таки вызывает морскую болезнь. Кстати, вся игровая сцена состоит из 2500 полигонов, что согласитесь, впечатляет (на один только вертолёт их ушло целых 450 штук). Не нужно морщиться – не забывайте о слабосильном «камушке», который всю эту красоту, захлёбываясь, пытается обсчитать. На маленьком экране смартфона эта игровая сцена смотрится впечатляюще и, честно говоря, сразу возникает желание найти и установить на свою машинку что-нибудь похожее. Полноценно работоспособное, конечно же. Да, кстати, пока мы любуемся красотами, бенчмарк замеряет fps, на основании которых он и вынесет в конце концов свой вердикт.

3D FillRate. Помните, в первом Jbenchmark был тест на FillRate? В SPMark04 нашлось место для чего-то подобного, однако самого что ни на есть трёхмерного. На экране активно размножаются и вращаются как попало текстуры. Достаточно сложный тест для начинки смартфона. Кстати, результат выводится во всё тех же старых добрых texels ps.

3D PolyCount. Ещё одна аналогия с Jav’ным тестом, на этот раз с его трёхмерной частью. На чёрном фоне дисплея обсчитывается полигональная модель спирали – причём совсем «взрослая»: вся из себя такая гладкая; с тенями и бликами. Всё-таки 3D для смартфонов – это сила. В чём показывается рейтинг? Правильно, конечно же, в triangles ps.

Наш обзор смартфона Panasonic Х700 содержал следующую, надеемся, теперь понятную, таблицу:

System Tests

Менее зрелищный, однако куда более утилитарно красноречивый раздел тестирования. С игрушками покончено: теперь бизнес, бизнес и ещё раз бизнес.

2D Image. Тест на скорость вывода двумерных изображений на экран. Чем-то похоже на 2D Shapes из Jbenchmark 1. Дана одна картинка, копиями которой разного размера заполняется экран. Чем больше таких кружков появится на экране, тем лучшую оценку получит смартфон.

Image Scalling и Jpeg Encoding также оперируют с изображениями, однако, как ни странно, где-то «внутри» аппарата и совершенно незаметно для глаза пользователя. Первый тест пытается масштабировать исходную картинку, прилагая к этому все усилия машинки (результат выводится в bitmaps/s). Второй – работает с jpeg картинкой, последовательно сжимая её на 50, 70 и 90% (в таблице результатов рядом с цифрой будет стоять значение Kpixels/s).

Contacts и Calendar – это испытание на прочность PIM-функций смартфона. Утилита создаёт по несколько десятков записей в телефонной книге и органайзере, а затем сообщает, сколько меток в секунду ей удалось сделать.

Disc Access. Выяснение скорости доступа к информации на диске и не более того. Бенчмарк создаёт 100 файлов, открывает их все разом, записывает туда данные, закрывает их, открывает снова и пытается прочитать записанную информацию. Даже судя по последнему предложению, тест этот является самой настоящей истерикой для системы. А кто сказал, что девайсам будет легко? Но вернёмся к нашему Х700:

Battery Test

На самом деле, последний раздел SPMark04 достаточно условен, и его можно запросто убрать из испытательной программы. Тем более, на общие результаты он не влияет. Но вот в чём странность: без него окончательной оценки от утилиты добиться положительно невозможно: очки за 3D и System Tests будут исправно красоваться на своих местах, а вот графа «SPMark04 Score» будет пуста.

Аккумуляторный субтест имитирует пиковую нагрузку смартфона, последовательно прокручивая все вышепомянутые минибенчмарки из пакета. После того, как батарея аппарата умрёт, а затем, хлебнув из сети переменного тока, вернётся к жизни, наша софтинка услужливо сообщит нам и время работы в минутах, и количество тестовых «кругов», и даже средний рейтинг. Тем не менее, наиболее важный результат (те самые минуты) считать объективным нельзя, так как голосовая активность, mp3, съёмка встроенной камерой etc просто не учитываются. Мы предпочитаем не доверять этим результатам и чаще всего выясняем «долгожительство» смартфона по старинке, эмпирическим путём.

Тесты для самых маленьких

Всё, как видите, очень просто: есть девайс, и он работает. Мы же, в свою очередь, пытаемся установить, как хорошо он работает. В этом нам помогают бенчмарки. Зачем они пользователю? Сами по себе – пожалуй, что и незачем. А вот их результаты сгодятся. Выбирать-то в любом случае вам.