«Хороший» и «плохой» – категории универсальные. Но применимы они далеко не всегда. При всей своей насущности и каждодневности, они неуверенно тушуются, когда необходим ответ на вопрос «насколько?». Вердикт «отлично» или «скверно» может быть вынесен лишь после детального анализа всех, даже самых неприметных, частностей. Это, если угодно, результат окончательный и обжалованию не подлежащий. И перед тем, как сделать вывод, все мелочи нужно аккуратно разобрать по кучкам, разместить по чашам весов и не забыть отметить, которая из них опустится. Результат будет хотя и не точен, но вполне красноречив. По крайней мере, вопрос «что лучше, а что хуже» будет решён раз и навсегда. Насколько? Тут уже аналоговыми весами приблизительных оценок нам не обойтись. Арсенал подручных средств придётся расширить инструментом точным, надёжным и объективным. Согласитесь, спокойней как-то, когда вес всех «за» и «против» пересчитан в миллиграммах.

Хитрые девайсы, со всех сторон нас окружающие, просто обязаны быть оценены по заслугам. И, если вы заметили, примерно этим мы и занимаемся. Два устройства будут выполнять свою работу по-разному: одно качественно и быстро, а другое – из рук вон плохо, да и, к тому же, с черепашьей скоростью. Выяснить это – наша первостатейная задача. Даже работа, если угодно. Естественно, выяснить нужно не на уровне прикидки «на глазок» – в этом случае всё это просто теряет смысл, – а дотошно, скрупулёзно и опираясь на конкретные цифры. Для этого приходится прибегать к помощи разнообразного ПО, которое, основательно «покусав» все ключевые узлы гаджета, выразит своё мнение о нём в виде рейтинга, который затем можно запросто сравнить с таковым другого устройства.

Никого не удивляет, что ноутбук или, например, видеокарта, попав в тестлаб уважающего себя издания, терзаются огромным количеством самых разнообразных тестовых приложений. Здесь, вроде бы, даже видится объективная необходимость – ключевым параметром этих устройств является в первую очередь производительность, которая и ставится во главу угла. Все эти тесты давно известны и, более того, о них написана уйма ознакомительных материалов. Мы же сейчас расскажем о бенчмарках для мобильных терминалов – смартфонов или просто телефонов, – услугами которых наш ресурс счастливо пользуется уже довольно давно.

Зачем?

Есть ли в них необходимость? Разумеется, нет. Если только вы используете исключительно голосовые функции вашего аппарата, конечно. А вот если рассматривать современный мобильный телефон как полноценную мультимедийную платформу, то возможность выяснить его производительность приходится очень кстати. Играют в игры, рассматривают картинки, смотрят видеоклипы и прочая с помощью телефона во временном отношении гораздо дольше, чем разговаривают. С этим уж придётся согласиться даже самому закоренелому традиционалисту. И было бы просто глупо ожидать, что начинка каждой модели справляется со всем этим одинаково успешно. Это безо всяких мудрёных испытаний частенько видно даже невооружённым взглядом. Нас же в первую очередь интересует не сам факт превосходства «этого» над «тем», а цифровое значение этого самого превосходства. О нём можно справиться, взглянув на результаты, выданные тестовой утилитой.

В тестовой лаборатории Ferra рядовые мобильные бойцы, а также смартфоны на MS Windows Mobile SE в обязательном порядке подвергаются изнурительным испытаниям Java-мидлетами Jbenchmark (реже Amark), «телефонные интеллигенты» на Series 60 дополнительно «прогоняются» по микротестам пакета SPMark04. О них и расскажем.

Испытания для телефона

Одна только мысль о том, что производительность мобильных телефонов может быть выяснена с помощью какого-нибудь ПО, сразу же тянет бровь скептика вверх. В самом деле: программы, да ещё и на телефонах – что за чушь. Прошивки ведь разные – это каким таким хитрым образом на разных аппаратах можно запустить одно и то же приложение? А очень даже просто: не стоит забывать про Java. Впрочем, в недавно вышедшей статье долго и, мы надеемся, не скучно говорилось о том, что потенциал платформы J2ME изрядно больше, чем можно себе представить. Почему бы не написать на этом языке бенчмарк? "Написано однажды, работает везде" – этот слоган от Sun Microsystems в данном случае весьма актуален. Любой телефон с поддержкой Java и возможностью установки приложений можно прогнать по беговым дорожкам этих утилит и таким образом выяснить о нём гораздо больше. И, конечно же, получить полное право оперировать твёрдыми цифрами. Взглянем на эти утилиты внимательнее.

Jbenchmark

Пожалуй, самый старый и самый популярный бенчмарк для J2ME. Ценен он даже не полной обоснованностью и наглядностью всех тестов, а, скорее, открытой и обширной базой данных результатов, которая уже несколько лет пополняется более чем активно. Дело в том, что рейтинг, полученный девайсом после прохождения всех испытаний, может быть тут же и «не отходя от кассы» послан на сервер разработчика по каналам GPRS, CSD etc. Там он будет обработан и внесён в общий кладезь знаний. Справиться о результатах (J2ME едина для всех континентов, и поэтому в забеге частенько участвуют довольно экзотические для нашего региона гаджеты), а также скачать любую версию Jbenchmark можно здесь. Естественно, бесплатно. Ну а для тех, кто предпочитает загрузку «по воздуху», существует WAP-сайт. Принять участие в открытом тестировании может любой желающий: бенчмарк написан без использования дополнительных API и запускается практически на любых аппаратах с J2ME.

На сегодняшний день бенчмарк существует в трёх ипостасях. Как вы знаете, у J2ME есть два профиля (MIDP 1.0 и MIDP 2.0) плюс дополнение M3G/JSR 184, которое с недавнего времени позволяет использовать платформу мобильной Java для запуска по-настоящему трёхмерных игрушек. Соответственно, каждая версия Jbenchmark предназначена для выяснения быстродействия телефона на каждом из этих поприщ. Вполне логично, что на телефоне с MIDP 1.0 (скажем, Nokia 7210) запустится лишь самая первая утилита, тогда как аппарат с поддержкой JSR 184 с успехом прокрутит все три софтинки. Ни одна из разновидностей Jbenchmark не оптимизирована под ту или иную модель, что позволяет видеть нам более-менее достоверный результат.

Принцип работы всех трёх версий достаточно прост: имеется набор из нескольких микротестов, которые последовательно выполняются на экране телефона. В это время программа засекает, сколько операций смог провести телефон за определённый промежуток времени, а также показывает значение fps (frames par sec, количество кадров в секунду). Опираясь на эти данные, высчитывается рейтинг устройства, который состоит из общих очков (Overall Score), а также баллов за каждый микротест. Кстати, если прокрутить экран с результатами немного ниже, то о тестируемом аппарате можно узнать много всего интересного: тут вам и битность экрана, и конфигурация профиля MIDP, и многое, многое другое. Что ж, ещё один плюс в копилку тестового пакета. Все микротесты этих программных пакетов являются графическими, то есть заставляют телефон производить операции, так или иначе связанные с выведением данных на экран. Было бы, конечно, неплохо узнать и более конкретные «цифири», например, количество вычислений с плавающей запятой в секунду, с которым справляется процессор машинки. Но чего нет – того нет. Впрочем, такие утилиты в природе существуют (например, Float Test). Другое дело, что эти цифры интересуют нас постольку-поскольку.

Прежде чем мы по косточкам разберём три версии Jbenchmark , стоит остановиться на одном довольно важном вопросе. Формулируется он приблизительно так: «А что конкретно тестируют эти бенчмарки?» По большому счёту, речь, конечно же, идёт о быстродействии Виртуальной Машины Java на данном конкретном телефоне. Можно ли судить по результатам тестов для J2ME об общей производительности аппарата? Естественно, многое зависит, например, от прошивки. И всё же Virtual Machine не висит в воздухе, а работает на мощностях телефонной начинки. Кроме того, наибольшие результаты Jbenchmark показывает всё-таки на смартфонах, а их производительность заведомо выше любого «рядового» мобильника. Так что, пусть и косвенно, но высокий рейтинг в Jbenchmark стоит воспринимать, как заслугу аппарата в целом, а не только удачно сконфигурированной Виртуальной Машины. Чересчур условно? Возможно. Зато опосредованно. Ну а те, кто выбирают телефон специально для игрушек (а таких людей с каждым днём становится всё больше и больше), могут доверять этой утилите с абсолютно спокойно душой. Если Jbenchmark «одобрил» этот аппарат, то можно даже не сомневаться, что на нём со свистом «полетит» любая неоптимизированная игра... Ну да, пожалуй, стоит, наконец, перейти к вещам конкретным. Надеемся, что после знакомства с этим материалом таблички, которые мы аккуратно прилагаем к каждому обзору, станут для вас меньше напоминать китайскую грамоту.

Jbenchmark 1

Эта утилита состоит из пяти микротестов, прокручиваемых в строгой последовательности. Все действия на экране достаточно наглядны, однако, пущей понятности ради, поясним.

Jbenchmark 1: Text

Text. Пустой белый экран быстро-быстро заполняется разноцветными надписями Jbenchmark. Выглядит это достаточно забавно и, кроме того, позволяет бенчмарку выяснить, как хорошо телефон справляется с выводом текста на экран. Весь микротест занимает десять секунд, и за это короткое время графической подсистеме приходится изрядно попотеть, стараясь заполнить экран как можно большим количеством надписей.

Jbenchmark 1: 2D Shapes

2D Shapes. И снова белый экран, и снова попытки его заполнить. На этот раз, правда, не текстом, а разнообразными геометрическими фигурами. Плоскими, конечно – это следует из названия теста. Принцип тот же: есть отрезок времени, за который нужно отрисовать множество разноцветных треугольников, трапеций, эллипсов и прочая. Чем больше их в итоге получится, тем выше будет рейтинг аппарата. Ну, по крайней мере, по этому параметру.

Jbenchmark 1: 3D Shapes

3D Shapes. Оказывается, MIDP 1.0 способен и на такое. В принципе, это сложно назвать трёхмерной графикой в современном понимании этого слова: ни вам текстур, ни вам теней. Тем не менее, на экране в течение определённого времени будет так и сяк поворачиваться в пространстве вполне себе трёхмерный куб. Примитивно? По нынешним временам – возможно. Однако не будем забывать, когда появились первые телефоны с цветным экраном и поддержкой MIDP 1.0.

Jbenchmark 1: Fill Rate

Fill Rate. По логике вещей, предыдущий тест должен был заставить систему выложится по полной. Ан нет, большинство аппаратов с гораздо большей натугой справляются именно с этим испытанием. Хотя задача вроде бы не из трудных – просто как можно быстрее заполнить экран равными разноцветными квадратиками. Между тем, именно на этом месте ощущается, как с натугой скрипит телефонная начинка. По некоторой информации, связано это в первую очередь с тем, что MIDP 1.0 не поддерживает прямую адресацию к пикселям. Тем не менее, если ваш телефон справился с этим без видимых затруднений – можно погладить его по клавиатуре и назвать «молодцом».

Jbenchmark 1: Animation

Animation. На дисплее в течение некоторого времени крутится изображение земного шара. Картинка не трёхмерная? и анимация её классическая – достигается с помощью последовательной смены кадров (12 штук, если уж быть совсем точными). Довольно важное испытание игрового толка, тем не менее, у большинства моделей не провоцирует сильных потуг. Хотя на некоторых «старичках» вроде Nokia 6100 этот микротест просто сбрасывается.

Всё, как видите, довольно просто, и теперь в табличке обычного вида:

Jbenchmark 1. 1.1
Score	1059
Text	300
2D Shapes	281
3D Shapes	149
Fill Rate	99
Animation	224

всё стало на свои места.

Jbenchmark 2

Программулька для MIDP 2.0 содержит всё те же 5 микротестов, однако несколько другого вида.

Jbenchmark 2: Image Manipulations

Image Manipulations. Тест возможностей работы с RGB данными, а также средств рисования. На экране появляется репродукция «Моны Лизы», которая постепенно увеличивается, заполняя собой весь экран. При «вскрытии» мидлета обнаружилось два изображения – форматов jpeg (RGB, 128x128, 8 Kбайт) и png (индексированные цвета, 128х128, 16 Kбайт), – с которыми бенчмарк работает по очереди. Чем быстрее аппарат справится с увеличением обоих файлов, тем, естественно, лучше. И если первая картинка масштабируется без проблем, то вторая – с видимой натугой.

Jbenchmark 2: Text

Text. Проверка отношений телефона к обработке текстовой информации. Важный момент для каждого любителя Java-книг. По экрану прокручивается текстовый фрагмент из бессмертного произведения Люиса Кэрролла «Алиса в Стране чудес». Скорость, как обычно, решает всё.

Jbenchmark 2: Image Sprites

Sprites. Чистой воды игровой тест, отлично иллюстрирующий способности аппарата при работе со спрайтовой графикой. Нечто подобное мы видели в последнем микроиспытании Jbenchmark 1, только на этот раз всё гораздо сложней и интересней. На дисплее происходит вот что: на фоне гор и под густым покровом пальм по земле шагает бравый охотник. Облака, конечно же, и прочее. А пока забавный человечек бежит по лесу, вся начинка телефона занята тем, что одновременно анимирует несколько слоёв: землю (файл ground. png), деревья (three. png) и охотника (hunter. png, 4 кадра) на переднем плане, горы (mountain. png, 16 кадров) – на среднем, и облака (cloud. png) – на заднем. Как видите, задачка не из простых.

Jbenchmark 2: 3D Transform

3D Transform. Пожалуй, наиболее ресурсоёмкое испытание из всех в этой версии Jbenchmark. Телефону приходится иметь дело со всамделишной трёхмерной графикой – тут вам и тени, и полигоны. Нагрузка, сами понимаете, далеко не из лёгких, поэтому редкая птица долетит… Простите, редкий телефон покажет в этом тесте значение fps больше единицы. Тут конечно же, свою роль играет и общая «не заточенность» MIDP 2.0 под трёхмерную графику… Однако по-настоящему мощные аппараты даже с этим жестоким испытанием справляются не морщась.

Jbenchmark 2: User Interface

User Interface. Этот тест симулирует работу т. н. «бизнес-приложений», написанных на Java: отрисовка списков, меню и прочая. Чем быстрее телефон прокрутит их по экрану – тем больше баллов получит в итоге телефон. Кстати, именно в этом месте по непонятным причинам «подвисают» многие аппараты.

Кстати, «заткнуться» телефон может, даже выполнив все испытания – таблица с результатами может так и не появится. Но, предположим, всё закончилось хорошо, и вы смогли добраться до вожделенного рейтинга. Увидите вы примерно следующее:

Jbenchmark 2.1.1
Score	89
Image Manipulations	34
Text	122
Sprites	140
3D Transorm	75
User Interface	125

Судя по всему, телефон весьма неплохо справился с основными задачами.