Дякую вам за підтримку!
Частина 1:
тестування на основі реальних неігрових додатків
До сих пір ми тестували ноутбуки із застосуванням таких тестових пакетів, як PCMark 7, PCMark 8, 3DMark і 3DMark 11. Однак всі вони не позбавлені певних недоліків. Наприклад, новий пакет PCMark 8 досить часто оновлюється, що робить неможливим його використання для зіставлення результатів з раніше протестованими системами. Крім того, для тестування ноутбуків хотілося б застосовувати бенчмарки на основі реальних і популярних додатків, а такі використовуються тільки в двох тестах пакета PCMark 8 (Adobe Creative Suite і Microsoft Office). Ну а вимірювати продуктивність ноутбука з використанням синтетичних додатків або таких, які ніколи не будуть застосовуватися на ноутбуці - це не дуже цікаво.
Пакет PCMark 7 в цьому плані ще більше відірваний від реальності. У ньому взагалі не використовуються реальні програми, і у всіх тестах, за винятком Computation, до сценарію навантаження «підмішуються» синтетичні тести продуктивності підсистеми зберігання даних. В результаті ноутбук з продуктивною SSD-накопичувачем, але зі слабким процесором демонструє в тестах пакета PCMark 7 вищі результати, ніж ноутбук c HDD-диском і швидким процесором, що, на самій-то справі, погано співвідноситься з реальною дійсністю.
Ще один недолік пакетів PCMark 7 і PCMark 8 полягає, на наш погляд, в досить складній формулі розрахунку підсумкового результату, що часом робить досить проблематичною інтерпретацію отриманих результатів. А головне, що результуючі бали в тестових пакетах PCMark 7 і PCMark 8 не дозволяють однозначно сказати, у скільки разів тестована система продуктивніше якоїсь референсной системи.
Тестові пакети 3DMark і 3DMark 11 призначені для вимірювання продуктивності систем в іграх. Власне, ці пакети хороші всім, але ... знову-таки, мова не йде про реальні іграх, та й хотілося б, щоб результат вимірювався в зрозумілих одиницях (FPS), а не в загадкових папуг, оскільки FPS мають і абсолютну значимість, а не тільки відносну.
Саме тому ми вирішили відмовитися від використання зазначених тестових пакетів і розробити свій власний набір бенчмарків для тестування ноутбуків.
Власне, під набором ми розуміємо три бенчмарка:
- бенчмарк для вимірювання продуктивності ноутбуків на основі реальних неігрових додатків (iXBT Notebook Benchmark v.1.0);
- бенчмарк для вимірювання продуктивності ноутбуків в іграх (iXBT Game Benchmark v.1.0);
- бенчмарк для вимірювання часу автономної роботи ноутбуків (iXBT Battery Benchmark v.1.0).
У цій статті ми детально розглянемо бенчмарк iXBT Notebook Benchmark v.1.0 для оцінки продуктивності ноутбуків на основі неігрових додатків.
Бенчмарк iXBT Notebook Benchmark v.1.0
Отже, особливість бенчмарка iXBT Notebook Benchmark v.1.0 полягає в тому, що в ньому використовуються тільки реальні програми, з якими більшість домашніх користувачів стикаються щодня.
Головна ідея, покладена в основу бенчмарка, полягає в вимірі часу виконання тестових завдань, які виконуються із застосуванням реальних користувальницьких додатків. Швидкість виконання тестових завдань є показником продуктивності тестованої системи (чим менше часу потрібно для виконання тестового завдання, тим вища продуктивність системи). Вимірявши час виконання певного набору тестових завдань, можна зіставити його з часом виконання тих же завдань на деякій референсной системі і таким чином порівняти продуктивність тестованої системи з продуктивністю референсной. Саме на цьому простому принципі заснований алгоритм розрахунку інтегральної оцінки продуктивності в нашому бенчмарке iXBT Notebook Benchmark v.1.0.
Бенчмарк сумісний з операційними системами Windows 7 (64-бітної) і Windows 8 (64-бітної). Версія операційної системи може бути російської або англійської.
Бенчмарк дозволяє задати кількість прогонів кожного тесту. Після кожного прогону проводиться перезавантаження комп'ютера і витримується пауза. За результатами всіх прогонів тесту розраховується середньоарифметичний результат і середньоквадратичне відхилення. Як показує практика, для отримання похибки результатів тестування близько 1% цілком достатньо використовувати п'ять прогонів кожного тесту. Повторимо, що у всіх тестах результатом є час виконання тестового завдання.
Додатки, які використовуються в тестуванні, підібрані таким чином, щоб вони дозволяли оцінити продуктивність ноутбука в наступних типових завданнях:
Для реалізації тестових завдань в бенчмарке застосовуються такі програми:
- MediaCoder x64 0.8.25.5560;
- Adobe Premiere Pro CC;
- Adobe After Effects CC;
- Adobe Photoshop CC;
- Adobe Audition CC;
- Photodex ProShow Gold 5.0.3276;
- Abbyy FineReader 11;
- WinRAR 5.0;
- FastStone Image Viewer 4.8.
Безумовно, для реалізації перерахованих типових завдань можна було б використовувати і інші додатки. А тому коротко пояснимо, як ми вибрали саме ці додатки.
Що стосується програми Abbyy FineReader 11, то йому просто немає альтернативи.
Вибір архіватора WinRAR 5.0 пояснюється тим, що він забезпечує серйозне стиснення даних і здатний повноцінно задіяти потужні процесори, а також є найпопулярнішим в Росії.
Тестові завдання з використанням неігрових додатків
Результатом даного тесту є сумарний час рендеринга і експортування фільму.
Даний тест добре завантажує всі ядра процесора і чутливий до обсягу і швидкодії оперативної пам'яті.
Обробка полягає в коригуванні балансу білого, накладення фільтра Cartoon (цей фільтр сильно завантажує процесор) і накладення 3D-титрів c різними ефектами (вибух, розмиття і т. П.)
Параметри вихідного файлу наступні:
Даний тест завантажує всі ядра процесора і чутливий до обсягу і швидкодії оперативної пам'яті і продуктивності дискової підсистеми.
Створення проекту з використанням Майстра кожен раз призводить до нового результату за рахунок того, що накладаються на слайди анімаційні ефекти і ефекти переходу вибираються довільно. Тому час створення слайд-шоу в даному випадку буде мати великий розкид. Щоб уникнути цього негативного ефекту, з використанням Майстра кожен раз створюється новий проект, а ось остаточний експорт завжди проводиться для одного і того ж заздалегідь створеного проекту. Результатом тесту є сумарний час створення проекту слайдшоу, що включає в себе час завантаження фотографій і музики і накладення спецефектів, а також час експорту проекту в фільм.
Даний тест завантажує всі ядра процесора, проте не на 100%. Від продуктивності дискової підсистеми результати тесту практично не залежать, а ось від швидкодії оперативної пам'яті - залежать, хоч і не дуже сильно.
Обробка цифрових фотографій
Для обробки цифрових фотографій в бенчмарке застосовується додаток Adobe Photoshop CС. Тест полягає в пакетній обробці 24 фотографій, зроблених камерою EOS Canon Mark II 5D в RAW-форматі (розмір кожної фотографії - 25 МБ). З кожною фотографією, яка відкривається в 8-бітному форматі, послідовно проробляються такі дії:
- змінюється глибина кольору з 8 на 16 біт на канал;
- накладається фільтр адаптивної різкості Smart Sharpen;
- накладається фільтр усунення тремтіння рук при зйомці Shake Reduction;
- накладається фільтр шумозаглушення Reduce Noise;
- накладається фільтр корекції об'єктива Lens Correction;
- змінюється глибина кольору з 16 на 8 біт на канал;
- фотографія зберігається в TIFF-форматі.
Відзначимо, що фільтри Smart Sharpen і Shake Reduction є новими і сильно завантажують процесор. У попередній версії Adobe Photoshop ці фільтри були відсутні.
Результатом даного тесту є час пакетної обробки всіх фотографій.
Аудіообработка
Для аудіобработкі застосовується додаток Adobe Audition CС, за допомогою якого тестовий шестиканальний (5.1) аудіофайл у форматі FLAC спочатку завантажується, потім обробляється і, нарешті, конвертується в формат MP3. Обробка вихідного FLAC-файлу полягає в застосуванні до нього фільтра адаптивного шумозаглушення (Adaptive Noise Reduction). Результатом тесту є сумарний час завантаження аудіофайлу, його обробки і конвертації. Вихідний тестовий аудіофайл має розмір 1,65 ГБ. Параметри результуючого MP3-файлу наступні:
- бітрейт 128 Кбіт / с;
- частота семплювання 48 кГц.
Результат даного тесту залежить як від продуктивності процесора, так і від продуктивності підсистеми зберігання даних (швидкість завантаження файлу сильно залежить від швидкості накопичувача).
Розпізнавання тексту
У задачі по розпізнаванню тексту використовується додаток Abbyy FineReader 11. У даному тесті проводиться розпізнавання 74-сторінкового PDF-документа англійською мовою, що містить велику кількість графіки. Результатом тесту є час від відкриття PDF-документа до моменту повного розпізнавання тексту.
Даний тест добре завантажує всі ядра процесора, а його результат визначається практично виключно продуктивністю процесора.
Архівування та розархівування даних
У задачі з архівування та розархівування даних використовується додатки WinRAR 5.0 (64-бітна версія). У тесті спочатку архівується, а потім розархівуйте альбом з 24 цифрових фотографій у форматі TIFF (розмір кожної фотографії - 60,1 МБ). У архіваторі WinRAR 5.0 при стисненні даних використовується формат RAR5, метод компресії Best (максимальне стиснення) і розмір словника 32 МБ.
Результатом тестів є час відповідно архівування та розархівування. Результат даного тесту визначається в основному продуктивністю процесора і швидкодією пам'яті. Відзначимо, що тест є багатопотоковий і добре навантажує всі ядра процесора.
Швидкість завантаження додатків і контенту
У задачі по визначенню швидкості завантаження додатків і контенту використовується кілька додатків:
- Adobe Audition CC;
- Adobe Premiere Pro CC;
- Adobe Photoshop CC;
- FastStone Image Viewer 4.8.
Вибір саме цих додатків пояснюється тим, що завантаження контенту (заздалегідь створені проекти, фотографії, аудіофайли) в них може відбуватися досить довго.
Результатом тесту, що визначає швидкість завантаження додатків і контенту і швидкість копіювання даних, є сумарний час виконання всіх тестових завдань. Результат даного тесту залежить в першу чергу від продуктивності підсистеми зберігання даних.
Розрахунок інтегральної оцінки продуктивності
Необхідність застосування інтегральної оцінки продуктивності викликана тим, що самі по собі результати тестування (час виконання тестових завдань) ще не дають уявлення про продуктивність тестованої системи. Вони знаходять сенс лише при можливості їх зіставлення з результатами якоїсь референсной системи. Саме тому при тестуванні за описаною нами методикою використовуються поняття «інтегральна оцінка продуктивності» і «референсна система».
Для розрахунку інтегральної оцінки продуктивності спочатку результати всіх тестів нормуються щодо результатів тестування для референсной системи:
де tref - час виконання завдання референсной системою, t - час виконання завдання, що тестується системою.
Отриманий таким чином безрозмірний результат R. по суті, являє собою нормовану швидкість виконання завдання, що тестується системою і показує, у скільки разів час виконання завдання, що тестується системою більше (або менше), ніж час виконання тієї ж завдання референсной системою. Далі нормовані результати тестів розбиваються на сім логічних груп:
У кожній групі тестів розраховується проміжний інтегральний результат як середньогеометричні від нормованих результатів. Для зручності подання результатів отримане значення множиться на 100. Після цього розраховується середньогеометричні від проміжних інтегральних результатів по всіх групах тестів. Це і є інтегральна оцінка продуктивності тестованої системи. Для референсной системи інтегральний результат продуктивності, а також інтегральні результати по кожній окремій групі тестів складають 100 балів, а для тестованої системи ці результати можуть бути як більше, так і менше 100 балів.
Природно, інтегральний результат тестованого ПК визначається не тільки його конфігурацією, але і конфігурацією референсной системи, використовуваної для порівняння. У нашому бенчмарке як референсной системи ми вирішили використовувати ноутбук з наступною конфігурацією:
Intel Core i5-3317U
До речі, якщо порівняти результати тестування настільного ПК при частоті процесора 4,5 ГГц і в штатному режимі роботи процесора (при частоті 3,5-3,9 ГГц), то можна помітити, що збільшення тактової частоти на 15% -28% призводить до росту інтегральної продуктивності на 8%. В принципі, це цілком адекватний результат, оскільки продуктивність системи залежить не тільки від швидкості процесора, але і від швидкодії пам'яті і накопичувача.
висновок
На закінчення хотілося б запропонувати читачам взяти участь в обговоренні даної методики і висловити свої конструктивні пропозиції щодо її поліпшення.