Тестирование программ - процесс обнаружения ошибок в программном продукте. Как подобрать профессиональный персонал? Тесты при приеме на работу Как проводить тестирование

“Не принимайте ничего на веру. Только решения из практических результатов, то есть - результатов тестирования. Тестировать надлежит все и вся. Я постоянно этим занимаюсь”. (с) Гари Хелберт.

И в этом с Королем продающих текстов (проще говоря, самым известным копирайтером современности) я полностью согласен.

A/Б тестирование - вот именно то, что необходимо, чтобы принять правильное решение, а не только основанное на собственных ощущениях. Что это такое и как его провести мы и поговорим в этой статье.

Дальние дали

Стандартно, A/B testing произошло от английского. Где его ещё называет split-testing или сплит-тестирование. Но самое интересное, это перевод.

A/Б тест (или сплит тест) - это один из методов маркетинга, когда одна группа элементов сравнивается с другой группой элементов с разными данными.

Цель действий - выяснить у какой группы элементов конверсия или показатели будут больше.

То есть все довольно просто. Вы создаете 2 различных варианта рекламной продукции (пусть это будут электронные письма продающие ваши услуги) и в конце этих писем делаете разный .

И просто считаете конверсия какого письма была выше. Именно это и есть суть а/б теста.

Вот наглядный пример на уровне сайтов, где мы определяем как влияет на результат изменённое расположение блоков. А именно поднятый наверх модельный ряд.

A/Б тест

А вот если Вы тестируете, к примеру, 2 посадочных страницы, в которых изменены заголовки, кнопки призыва к действию разной формы и разного размера, то это уже не просто а/b test, а многовариативное тестирование или A/B/N-test.

Так почему же про этот тест так много сейчас говорят? Все очень просто. Маркетологи любят показывать свою экспертность за счёт разного рода фишек, к которым тестирование можно отнести.

А владельцы компаний мечтают найти волшебную таблетку и считают, что сплит-тестирование - просто панацея для их рекламных материалов (в частности при ).

Что вам даст этот тест?

На самом деле не все так плохо и сплит тестирование сайта реально даёт пользу для компаний, и может за короткий промежуток времени изменить ситуацию, а именно:

1. . Самый простой и при этом самый желаемый показатель любого владельца, особенно в сайтах.
2. Изменение поведенческих факторов. Не самые очевидный, но опять же влияющий на увеличение продаж фактор.
3. Увеличение среднего чека. Это добавление разного рода call to action или на примере сайтов, всем знакомый блок “с этим товаром покупают”.

Если обобщить, все сводится к увеличению продаж. И определённо это стоит вашего внимания.

Но есть одно “НО”. И уже возможно на этом этапе Вы поймёте, что Вам это не нужно.

Это “НО” говорит о том, что добиться взрывных продаж с помощью замены одного элемента если и можно, то очень редко.

Примерные шансы 1 к 1000. Так как идёт замена небольших составляющих, которые редко когда отличаются кардинально друг от друга.

А когда для Вас это капля в море, то лучше сфокусировать своё внимание на более важных составляющих.

К тому же, пока у Вас нет устоявшегося трафика, пока Вы только тестируете разные каналы и способы рекламы в интернете, то можете даже не начинать тестировать.

Так как показатели будут не верны, ведь трафик не однородный, а, как известно, разные люди действуют по-разному.

Если у Вас нет опыта в проведении а/б тестов (иначе вас бы тут не было), то крайне рекомендую Вам предварительно прочитать кейсы.

И особенно обратите внимание на кейсы людей, добившихся увеличения конверсии/изменения поведения в рунете. Так Вы поймете что лучше тестировать.

Либо Вы можете пойти другим путем. Составьте предварительный список (план) того, что Вы будете тестировать на сайте.

Это нужно делать исходя из своих предположений, обратной связи фокус группы (наихудший вариант) или на основе данных из . Это для того, чтобы Вас не кидало из стороны в сторону.

Важно. Забудьте про многовариативность и делайте только один тест за раз. На нашем опыте лучше всего работает связка - 1 тест = 1 изменение.

Иначе Вы не поймёте что на самом деле дало результат. А ещё интереснее будет, когда одно изменение даст +0,5, а другое изменение на этой же странице -0,5 к конверсии.

Что в результате 0 и упущенный из виду положительно влияющий элемент. Поэтому не допускайте такой ошибки.

Важно. Забудьте про расплывчатые теории. Из серии “надо что-то изменить в сайте, сделав его более продающим”.

Нормальная теория для тестирования - на одной странице кнопка красная, на другой синяя.

На одной странице есть цена, на другой нет цен. Только тогда Вы будете уверены в результатах. Четкие критерии = понятные результаты.

Важно. Результат, полученный за очень короткий срок = плохой результат.

Особенно, если за короткий срок на Ваших сайтах побывало от силы 20 человек.

Поэтому перед тем как броситься в тестирование сайта, Вам нужно понимать сколько человек его посещает ежедневно и сколько дней тестирование должно длиться.

Калькулятор времени тестирования

Чтобы Вам было не скучно, я нашел калькулятор, благодаря которому Вы сможете рассчитать оптимальную продолжительность для тестирования сайта - vwo.com/ab-split-test-duration/

Он на английском языке, поэтому на всякий случай я перевел и расшифровал строчки, которые Вам необходимо будет заполнить:

1. Конверсия Вашей страницы на данный момент. Как считать, читайте здесь - .
2. Процент, на который Вы хотите увеличить существующую конверсию.
3. Необходимое число комбинаций. Если Вы, к примеру, хотите узнать какой заголовок на сайте лучше конвертирует, то тогда это одна комбинация.

   Если Вы хотите поменять заголовок, но при этом изменить его текст и размер, то это будет две комбинации.

4. Число посетителей в день на Вашем сайт (естественно, усредненное).
5. Число посетителей, которые будут принимать участие в тестах.

Поэтому это ещё один камень в “огород” a/б теста, касаемо его не актуальности для взрывного роста продаж.

НАС УЖЕ БОЛЕЕ 29 000 чел.
ВКЛЮЧАЙТЕСЬ

Как делать?

Теперь расскажу как сделать все правильно. Заголовок письма, кнопка призыва к действию, наличие цен в , всё это можно реализовать как вручную, так и с помощью специальных сервисов.

И сразу, без долгих объяснений в любви, вручную делать это запрещено, потому что времени займёт массу.

А если у Вас времени все-таки много, то лучше и полезнее будет вам внедрить любой канал из статьи.

Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».

Если в детстве вы любили разбирать на части машинки с моторчиком или смешивать все жидкости, которые были в доме, то эта статья для вас. Сегодня разбираемся с A/B тестированием сайта и выясняем, почему в умелых руках оно превращается в мощное оружие. Откапываем в глубинах сознания дух экспериментатора, стряхиваем с него пыль и читаем.

Что это такое – А/Б тестирование сайта?

Если вкратце, то это метод оценки эффективности двух вариантов одной и той же страницы. Например, есть два дизайна карточки товара и оба они настолько круты, что вы даже спать и есть не можете. Логичный выход – проверить, какой вариант работает лучше. Для этого половине посетителей показывается вариант №1, а половине – вариант №2. Побеждает тот, кто лучше справляется с поставленными задачами.

Это не единственный способ применения А/Б (или сплит) тестирования сайта. С его помощью можно проверять сумасшедшие гипотезы, удобство новой структуры страницы или разных вариантов текста.

Как проводится A/B тестирование сайта

Постановка задачи

Сначала нужно определиться с целью. Поймите, чего вы хотите добиться: увеличения конверсии, времени пребывания на сайте или снизить процент отказов. Если с целями и задачами все ОК, меняйте контент или дизайн, опираясь на них. Например, можно пойти по пути всех growth-хакеров и изменить расположение и дизайн кнопки «Купить». Сейчас она висит слева внизу и вы хотите посмотреть, что будет, если поменять ее внешний вид и передвинуть кнопку выше и правее.

Техническая реализация

Здесь все просто – либо создается отдельная страница, на которой меняется только объект тестирования, либо программист применяет магию и реализует все в рамках одного документа.

Подготовка контрольных данных

Страница переделана и все готово к запуску теста. Но сперва нужно измерить исходные показатели конверсии и всех остальных параметров, которые мы будем учитывать. Исходному варианту страницы присваиваем имя «A», а новому – «B».

Тест

Теперь нужно случайным образом разделить трафик пополам. Половине пользователей показывается страница A, а остальным – B. Для этого можно воспользоваться специальными сервисами (их очень много) или сделать все руками программиста.

При этом важно, чтобы «состав» трафика был одинаковым. Эксперимент не будет объективным, если всем пользователям, пришедшим по клику на контекст будет доступен только первый вариант, а всем посетителям из социальных сетей – только второй.

Анализ

Теперь нужно ждать, пока наберется достаточно статистики и сравнить результаты А/Б тестирования. Сколько именно придется ждать, зависит от популярности сайта и некоторых других параметров. Выборка должна представлять статистическую значимость. Это значит, что вероятность случайности результата должна быть не выше 5%. Пример: Допустим, на обеих страницах одинаковое количество визитов – по тысяче. При этом у страницы A 5 целевых действий, а у страницы B – 6. Результат отличается слишком незначительно, чтобы говорить о закономерности, поэтому он не годится.

Большинство специальных сервисов сами рассчитывают, порог статистической значимости. Если делаете все руками, можете воспользоваться калькулятором .

Выработка решения

Как поступить с результатами теста – решать вам. Если новый подход сработал, можно оставить его на сайте новый вариант страницы. При этом не обязательно останавливаться на достигнутом, особенно если вы видите, что потенциал для роста показателей еще остался. В этом случае оставляйте на сайте вариант B и готовьте новое тестирование.

Как сделать A/B и сплит-тестирование объективным

Снизить влияние внешних факторов. Мы уже немного затронули эту тему – нужно проводить тест в один и тот же период времени, а источники трафика должны быть одинаковыми для обеих страниц. Если не позаботиться о равных условиях, то получите нерепрезентативную выборку. Люди из поиска ведут себя на странице не так, как посетители из группы в «Фейсбуке» или «Вконтакте». То же самое с объемом трафика – он должен быть примерно одинаковым.

Минимизировать влияние внутренних факторов. Это актуально для сайтов крупных компаний – на статистику могут сильно влиять сами сотрудники фирмы. Они заходят на сайт, но не совершают никаких целевых действий. Поэтому их нужно исключить из статистики. Для этого нужно установить фильтр в системах веб-аналитики.

Плюс, есть довольно очевидная вещь, про которую иногда забывают. Тестировать нужно один элемент. Если вы поменяли сразу пол-страницы, но при этом полного редизайна сайта не было, результаты эксперимента не будут валидными.

Влияет ли A/B тестирование сайта на SEO?

Есть популярный миф, что А/Б тестирование может выйти боком, потому что из-за дублирования страниц можно попасть под фильтры поисковиков. Это неправда. Google даже рассказывает , как сделать все правильно и дает для этого специальные инструменты.

Что и как можно улучшить с помощью A/B тестирования

• Конверсию. Самый популярный вариант. Даже незначительное изменение страницы может повлиять на показатель конверсии. При этом целевым действием может считаться и покупка, и регистрация, и просмотр какой-либо страницы, и подписка на рассылку, и переход по ссылке.
• Средний чек. В этом случае часто тестируют новые блоки дополнительных продаж: «похожие товары» и «с этим товаром часто покупают».

• Поведенческие факторы. К ним относят глубину просмотра, среднее время на сайте и отказы.

Обычно пробуют менять:

• Дизайн кнопок «Купить», «Оставить заявку».
• Контент страницы: заголовки, описание продукта, изображения, призывы к действию и все остальное.
• Расположение и внешний вид блока с ценами.
• Структуру страницы.
• Расположение, структуру и дизайн формы заявки.

В принципе, сработать может что угодно, точно сказать, как повысить конверсию или средний чек не сможет ни одна Ванга. Рекомендаций куча, но учесть их все просто нереально, да и сработать они могут с противоположным эффектом. А иногда к улучшению показателей приводят совсем нелогичные вещи, например, отказ от развернутого описания товаров. Пробуйте разные подходы и варианты, это же тест.

Инструменты для A/B тестирования сайта

Их просто куча, поэтому мы выбрали самые лучшие. Все они англоязычные и поэтому дорогие, но у каждого есть бесплатный пробный период. В России что-то подобное делает только lpgenerator.ru, но тестировать там можно только лендинги, созданные в конструкторе сервиса. Свою страничку загрузить не получится.

Optimizely.com

Один из самых популярных сервисов. Умеет тестировать все и в любых комбинациях. Из других плюсов: возможность мультиканального тестирования, эесперименты с мобильными приложениями, удобные фильтры результатов, таргетинг, визуальный редактор и немножко веб-аналитики.

Changeagain.me

Достаточно удобный сервис, главное преимущество – простая и полная интеграция с Google Analytics: цели можно создавать прямо в сервисе, а они потом автоматически подгружаются в систему. Остальные функции более-менее стандарны: простой визуальный редактор, таргетинг по устройствам и странам. конкретный набор зависит от тарифного плана..

ABtasty.com

Этот сервис отличается большим пробным периодом – он длиться аж 30 дней, вместо стандартных 14-15-ти. Плюс, инструмент интегрируется в WordPress, Google Analytics и несколько других сервисов, которыми пользуются забугорные маркетологи и веб-мастера. Из дополнительных плюсов: удобный интерфейс и детальный таргетинг.

Как провести A/B тестирование через Google Analytics

Для этого нужно зайти в свой аккаунт, открыть меню отчета, досскроллить до вкладки «Поведение» и в ней нажать «Эксперименты». Там все предельно просто.

Даем эксперименту имя, распределяем трафик по страницам в нужной пропорции, выбираем цели и переходим к следующему этапу – детальной настройке.

Там задаются адреса страниц A и B. Если поставить галочку «Унификация вариантов для других отчетов по содержанию», то в остальных отчетах показатели всех вариантов будут учитываться как показатели исходной страницы.

После этого Analytics выдаст код, который нужно разместить на странице A и запустить эксперимент. Отчеты по эффективности можно будет увидеть в том же меню «Эксперименты».

Как настроить «Яндекс Метрику» для A/B тестирования

Работа делится на две части. Сначала нужно либо создать две страницы, либо настроить одну на показ пользователю двух разных типов элементов. Как это сделать – тема для отдельной большой статьи, поэтому ее, пока что, обойдем

После этого нужно передать в метрику информацию о том, какой вариант сайта увидел пользователь. Небольшую инструкуцию дает сам «Яндекс» . Для нам нужно создать параметр А/Б тестирования и присвоить ему нужное значение. В случае с кнопкой мы определяем параметр как:

var yaParams = {ab_test: "Кнопка1" };

или

var yaParams = {ab_test: "Кнопка2" };

После этого параметр передается в «Метрику» и его можно использовать для формирования отчета по «параметрам визитов».

Итоги

А/Б (или сплит) тестирование сайта – это важный, нужный и почти обязательный инструмент. Если регулярно проверять новые гипотезы, эффективность страницы можно вывести на новый уровень. Но нельзя сказать, что усилий для этого нужно минимум. Чтобы просто поменять расположение или цвет кнопки придется подключить к делу программиста или дизайнера, пусть это и не займет много времени. Плюс, любое предположение может оказаться ошибочным. Но кто не рискует, тот не получает возросший поток заявок и не бегает по офису счастливым.

Рано или поздно многие организации, использующие то или иное программное обеспечение приходят к необходимости организовывать процесс тестирования. Причин обычно несколько, либо это стартап, который сразу требует тестирования своего ПО, либо руководство начинает понимать, что помимо тестирования бизнесом, сопровождением, разработкой да всеми кого только можно привлечь в компании все таки требуются профессиональные специалисты по тестированию, которые разгрузят всех других людей, не имеющих никакого нормального представления о тестировании, И вот именно с этого момента зачастую начинается традиционное для нашей работы назначение одного из текущих сотрудников на должность руководителя отдела тестирования. Мол, вот тебе поле, засеивай… А как, что ты будешь делать не важно, но отдел должен быть и должен приносить результаты. Конечно, не всегда бывает все так плохо, кто-то все таки ищет на эту должность грамотных специалистов по тестированию, но тем не менее процесса тестирования на этом этапе все равно нет и его нужно создавать.

И очень часто многие руководители начинают создавать процесс тестирования не системно, а выборочно. Но при этом, если организовывать процесс тестирования, выдирая просто лучшие практики, не имея при этом системного подхода, то такой процесс не принесет положительных результатов ни через месяц, ни через год.

Я думаю многие знают, что если процесс тестирования с самого начала организовать не правильно, то потом изменить его будет уже крайне сложно. Поэтому нужно определить, как же правильно организовать процесс тестирования?

С чего же начинать организацию процесса тестирования?

Я выделяю 11 основных критериев в организации процесса тестирования:

1. Цели и область тестирования
2. Команда
3. Управление
4. Коммуникация и взаимодействие
5. Методология тестирования
6. Документированность процесса
7. Управление рисками
8. Измерение процесса
9. Инструменты
10. Тестовые среды
11. Совершенствование процесса

Именно выполнение всех этих критериев позволяет равномерно развивать процесс тестирования, что в короткие сроки позволяет достигать того уровня, когда процесс тестирования будет приносить положительные результаты.

Поэтому, любой руководитель, перед которым стоит задача организации процесса тестирования, должен задать следующие вопросы:

• Зачем нам нужно тестирование?
• Что мы имеем, чтобы сделать тестирование?
• Какие процессы нужно формализовать или создать?
• Как и что мы должны тестировать?

Только после того, как мы получим ответы на эти вопросы, можно начинать переходить к стандартам.

Я выделяю следующие стандарты, которые действительно нужно изучить перед тем, как начинать строить процесс:

• ISO 29119
• IEEE 829\1008
• TPI Next&TMap
• ISTQB

Естественно, использование полностью практик, изложенных в стандартах нельзя. Любой стандарт должен быть кастомизирован под потребности именно вашего процесса тестирования, потому что необдуманное внедрение практик стандартов может привести к неблагоприятным последствиям, потому что ваш процесс тестирования не будет выполнять требований бизнеса.

Любой ИТ процесс всегда должен удовлетворять потребностям бизнеса!

Мы разберем основные критерии построения процесса тестирования.

Цели и область тестирования

Целью тестирования является обнаружение дефектов, проверка соответствия ПО заявленным требованиям, а также предоставление обратной связи о дефектах всем заинтересованным сторонам.

Это стандартная цель процесса тестирования, но также могут быть цели, которые определяются потребностями бизнеса организации. К примеру, для банков характерно, чтобы различные требования ЦБ внедрялись своевременно, поэтому дополнительно к общей цели тестирования, еще добавляется своевременность выполнение тестирования с требуемым качеством для критичных задач.

Говоря об области тестирования, мы должны прекрасно понимать, что именно нам предстоит тестировать. Это могут быть системы, компоненты, бизнес процессы. Для того, чтобы это понять, то нужно просто ответить на два вопроса:

• Что надо тестировать?
• Что будем тестировать?

Зачастую, то что надо тестировать и то что будем может сильно различаться. Это зависит от возможностей вашего процесса тестирования. «Что надо» часто диктуется бизнесом и руководством, поэтому хороший руководитель должен всегда понимать, «что нужно» тестировать. Как говорится в поговорке: «За двумя зайцами погонишься, ни одного не поймаешь», так и тут. Всегда лучше качественно тестировать то, что действительно вы можете тестировать вашей командой, чем хвататься за все, что просит бизнес и ничего не успевать в срок, да еще и пропускать критичные дефекты.

Команда и управление

Команда — это самая важная составляющая процесса тестирования. Без команды вы, как руководитель, ничего не сделаете. Зачастую к формированию команды подходят несколькими подходами:

Инструменты и инфраструктура

Какой же процесс тестирования без инструментов? Это получается ручной труд ради ручного труда 🙂 Я думаю многие из вас часто слышали о написании тест-кейсов в документах ворд, о построения графиков и диаграмм в экселе. Но, зачем тратить усилия, если рынок предлагает нам готовые продукты управления тестирования, такие как HP ALM, MS TFS, TestRail, TestLink, JIRA Zephyr и многие другие.
Поэтому, если вы приступили к организации процесса тестирования, то делайте этот процесс удобным и эффективным. Пишите тест-кейсы в удобных формах готовых продуктов, интегрируйте инструменты с системой управления задачами, настраивайте и т.д.

Подходя к выбору инструмента нужно всегда понимать:

• Какие задачи вы планируете выполнять?
• Какой у вас бюджет на инструменты?

Получив ответы на эти вопросы вы сможете определить наиболее удобные для вас инструменты тестирования, а возможно и разработать собственные.

Помимо инструментов управления тестирования, к инструментам тестирования также можно отнести:

• Система управления дефектами и задачами (может включаться в систему управления тестированием)
• Вспомогательные инструменты (для скриншотов, снятия логов, работы с БД, SOUP UI для XML и т.д.)
• Инструменты автоматизации ( , Selenium и т.д.)
• Системы управления знаниями (на wiki движке)

Теперь поговорим об инфраструктуре. В текущем контексте своего повествования я подразумеваю тестовые среды.

Практически в любой организации, особенно если организация крупная и не разрабатывает мобильные приложения для плеймаркета, вам потребуется тестовая (ые) среда (ы) для тестирования. Мощности и объемы интеграции систем в тестовых средах могут быть различными в зависимости от объемов тестирования.

Стандартно я выделяю следующие типы тестовых сред:

• Среда разработки (можно ли ее относить к тестовой?, но тем не менее)
• Среда тестирования системы (может быть развернута одна или несколько систем, компонент, не требует серьезных мощностей)
• Среда интеграции (полноценный интеграционная среда для проверки работоспособности сквозных бизнес процессов)
• Среда (основное требования — соответствие мощностями боевому контуру)
• Среда ПродЛайк/ПреПрод (среда для отладки готового протестированного билда, проведение инсталяционного тестирования)

Возможность организации такого большого количества тестовых сред позволяет выполнять работы по тестированию с наложением их друг на друга, тем самым увеличивая кол-во изменений (релизов, спринтов), которые могут идти параллельно, но на разных этапах тестирования.

Совершенствование процесса

Я очень часто говорю такую фразу, что «Любой процесс, неважно какой, всегда должен постоянно совершенствоваться», на что очень часто слышу «Зачем, наш процесс и так хорошо работает».

Но это не так. Почему мы должны постоянно совершенствовать процесс тестирования:

1. Цели тестирования не могут быть одинаковыми, они постоянно меняются в зависимости от потребностей бизнеса, что диктуется рынком.

2. ИТ сфера постоянно развивается. Приходят новые технологи подходы, которые всегда позволяются совершенствовать процесс тестирования.

Как говорится, совершенству нет предела!

Ну а как совершенствовать — это стандартный цикл Демминга.

Запланировали — .Сделали — Проанализировали — Скорректировали

Ну и в заключение скажу, что правильная позволяет в кротчайшие сроки создать действительно эффективный процесс тестирования, решающий поставленные ему цели и задачи.

Согласно мировой статистике, лишь одну из шести новинок рынка ждет успех, остальные пять не оправдывают ожиданий производителей и потребителей. Именно поэтому сегодня в ходе маркетинговых исследований эксперты в первую очередь проводят детальное тестирование продукта. Их рекомендуется выполнять примерно раз в год в отношении не только новых продуктов, но и давно и прочно обосновавшихся на рынке.

Вы узнаете:

• Что значит тестирование продукта.
• Для каких продуктов проводится тестирование.
• Как подготовиться к проведению тестирования.
• Как организовать тестирование нового продукта.
• Как тестируется рекламное сообщение и сайт.

Что значит тестирование продукта и для чего оно необходимо

Что такое тестирование? Это процесс, в рамках которого производитель выясняет мнение аудитории о выпущенном им товаре и решает, стоит ли его продвигать. Качество продукта должно быть подтверждено соответствующими результатами исследований.

Главная задача тестирования состоит в определении преимуществ, которые получает покупатель от использования продукта, с тем чтобы понять, по каким свойствам и характеристикам товар превосходит аналоги.

Цель тестирования ― составление верной маркетинговой стратегии продвижения продукта на рынке.

Для начала ставят маркетинговую задачу, которая решается при помощи тестирования. В зависимости от вида продукции (новая или уже существующая на рынке) эксперты, проводящие тестирование, преследуют разные цели:

• важно оценить предположительные объемы продаж, вероятные риски (убытки) или потенциальную прибыль производителя, в случае если производятся разработка и тестирование концепции нового продукта или выпускается новая версия существующего товара;
• тестирование проводят, чтобы оценить продукт в сравнении с аналогами конкурентов и понять, что делать дальше (как его совершенствовать, менять ли форму, дизайн, вид и объем упаковки, нужно ли снижать цену, уделять ли больше времени рекламе и т. д.), если товар известный и пользуется спросом.

Тестирование с целью выявления положения существующего товара на рынке обычно проводят раз в год. Подобные исследования очень важны, если конкуренты выпускают новый продукт. Благодаря тестированию производитель понимает, как изменились предпочтения покупателей, оценивает конкурентную среду, сравнивает товары с подобными, имеющими похожие характеристики, выясняет, кто из производителей является в настоящее время.

Внеочередное тестирование может быть вызвано следующими причинами:

• понижение уровня продаж или, наоборот, увеличение реализации продукта конкурентов;
• разработка новых вариантов производства товара (с другой начинкой, вкусом, ароматом, измененной ассортиментной линией и т. д.) ― здесь важно понять, какой вариант выбрать и целесообразны ли изменения в принципе;
• появление предложений, связанных с изменением дизайна упаковки, объемов фасовки ― нужно определить, какой вариант больше понравится потребителям.

Если производится разработка и тестирование концепции нового продукта или же выполняется исследование усовершенствованного товара, то в первую очередь оценивают степень риска продвижения на рынке. Для определения степени риска применяют два параметра: первый – масштаб потери, в случае если компания-производитель выберет неверную политику продвижения; второй – вероятная прибыль в случае эффективного продвижения компанией своего продукта.

Благодаря новым качествам товар еще больше нравится покупателям. Кроме того, его новые свойства расширяют круг потребителей, поскольку привлекают приверженцев продуктов . Здесь очень важно понимать, что думают по этому поводу потребители бренда и приверженцы конкурирующих марок. Опираясь на результаты тестирования, фирма-производитель понимает, какую именно стратегию она должна выработать, и придерживается ее при продвижении товара. Именно поэтому тестирование проводят всякий раз перед выводом новинки на рынок.

Материал по теме из электронного журнала:

Рассказывает практик

Тестируя продукт, прислушивайтесь к пожеланиям целевой аудитории

Михаил Сафран ,

директор по маркетингу группы компаний «РОСНО», Москва

У нас любая идея подлежит тестированию. Теория не всегда точна. Для нас важно, как аудитория воспринимает наши услуги. Не так давно мы предложили новый продукт «Клиентский сервис». Это комплексная поддержка по ОСАГО, включающая в себя сервис выезда аварийного комиссара на место ДТП с участием автомобиля клиента. Комиссар следит за тем, как проводится независимая экспертиза, общается с представителями страховых агентств и другими участниками аварии.

Тестирование продукта прошло успешно, он в полной мере оправдал наши надежды. В итоге спрос вырос, а вместе с ним – объем продаж и наша доля на рынке аналогичных услуг. Мы смогли расширить свою аудиторию и дать понять клиентам, почему с нами выгодно сотрудничать (они экономят время, силы и нервы).

Например, в рамках опросов мы узнали, что упустили такую важную деталь, как эвакуация транспорта с места аварии (когда трудно или невозможно переместить авто самостоятельно). Этот недочет был устранен.

Подготовка к тестированию продукта

Прежде чем начать тестирование продукта, выполняют определенные действия.

1. Определяют сегмент возможных покупателей.

Если вы хотите получить объективную информацию, мало узнать мнение какого-то случайного покупательского сегмента ― важно сконцентрироваться на ; ее представители дадут адекватную оценку вашему продукту, которая будет учтена в дальнейшей работе.

Для каждого тестирования важно четко определить критерии, на основе которых будет выявлена целевая аудитория. Поскольку тестирование продукта может носить разный характер, то и целевая аудитория может обладать разными характеристиками.

Как правило, в качестве возможных покупателей могут быть следующие целевые группы:

• постоянные покупатели конкретных продуктов (например, авто, спорттовары, пиво покупают представители сильного пола разных возрастов и с разным уровнем достатка; продовольственные товары, брендовую или детскую одежду, игрушки, мебель – женщины, которых сегментируют по разным возрастным группам, семейному положению и уровню дохода);
• приверженцы конкретного бренда (допустим, автовладельцы, предпочитающие Mercedes, редко переходят на другие машины; люди, покупающие мясо определенной марки, остаются ей верны и ищут в магазинах именно ее);
• члены семьи, определяющие, какие продукты нужно покупать.

Каждая характеристика целевой аудитории включает в себя множество социально-демографических показателей, которые также зависят от целей и задач конкретного тестирования.

1. Определяют предмет тестирования.

Тестирование продукта бывает разных видов, все зависит от того, какая характеристика товара исследуется.

• Тестирование концепций продукта

В рамках тестирования производитель узнает, как потребители воспринимают непосредственно идею, назначение продукта, выявляет, на самом ли деле товар нужен аудитории, способен ли удовлетворить ее потребности. На этой стадии тестирования очень важно оценить, как респондент реагирует на концепцию товара или услуги, чего он ждет от них, а также понять, в какой мере удалось реализовать идею в продукте. Результаты тестирования помогают производителю выбрать самую подходящую концепцию товара.

Приведем пример. Проводилось тестирование детского питания с участием молодых мам. В ходе тестирования оценивали вероятность покупки участницами этих продуктов. Женщины обратили внимание на описание нового витаминизированного молока для детей, но купить его не захотели. Причина оказалась простой: в России такую продукцию сегодня можно получить на детской молочной кухне бесплатно.

• Тестирование продукта

Если производитель тестирует уже давно выведенный на рынок товар, цель исследования – оценить изменение его положения в рыночной среде за конкретный период.

Если изучают новый товар, то прежде всего стараются понять, действительно ли он по своим характеристикам превосходит существующие аналоги.

В рамках тестирования эксперты анализируют и интерпретируют чувства респондентов, их реакцию, восприятие, оценку дизайна, структуры, вкуса, звучания продукта.

Тестирование продукта может быть «слепым» или «определенным» . При «слепом» тестировании организаторы исключают все отвлекающие факторы (дизайн, стоимость, цвет, название товара и проч.), при этом внимание респондентов акцентируется непосредственно на товаре. Так, к примеру, при тестировании духов разных производителей участникам предлагают пронумерованные картонные полоски, пропитанные ароматами, а для исследований пива используют прозрачные бокалы с наклеенным идентификационным номером и т. д.

«Определенное» тестирование ― полная противоположность «слепому». При «определенном» тестировании товар исследуют вместе со всеми «побочными эффектами» ― фирменной упаковкой, стоимостью, брендом и проч., то есть на испытуемого влияют все факторы в совокупности.

Безусловно, имидж некоторых брендов очень силен, и при тестировании это отвлекает участников от реальных свойств продуктов. Однако именно такое тестирование наиболее близко к реальной жизни, и в этом его плюс.

• Тестирование упаковки продукта и названия

В вопросе продвижения нельзя недооценивать важность упаковки и названия, так как это составляющие имиджа товара. От них очень зависит позиционирование продукта в рыночной среде. Правильное название, привлекательный дизайн и качественная упаковка формируют неповторимый имидж.

В данном случае разумно провести две проверки – тестирование упаковки продукта и тестирование названия, чтобы убедиться, что оба элемента хорошо соотносятся с главной идеей стратегии продвижения.

Кроме основного назначения у каждого тестирования есть специфическая цель. Так, название тестируют, чтобы понять, как лучше назвать продукт. Наименование должно быть простым в произношении, запоминающимся и соотноситься с продуктом.

Очень важно, чтобы название было приятным на слух. К примеру, респонденты в ходе тестирования разных названий для йогурта, отметили, что им неприятна фраза «Пастеризованное заквашенное молоко». Несмотря на то что данное наименование полностью соответствует свойствам йогурта, большая часть опрашиваемых сочла его неподходящим. Слово «заквашенное» вызвало у них неприятные ассоциации.

1. Узнаваемость

Респондентам показывают/дают прослушать рекламные объявления или ролики и спрашивают, видели ли они их раньше. При вариантах ответа «да», «нет», «не уверен» лишь утвердительные ответы указывают на то, что ролики или объявления были узнаны. Важно помнить: респонденты должны узнать именно объявление, а не рекламируемую марку.

1. Запоминаемость

Зрителей, просмотревших ТВ-передачу вместе с рекламным роликом, спрашивают, что они запомнили о фирме или продукте, с тем чтобы оценить запоминаемость рекламы. Этот показатель выявляют двумя способами: либо применяют подсказку (реакцию опрашиваемого стимулируют только показом иллюстрации из рекламы с закрытым именем бренда); либо подсказку не используют, а могут сообщить респонденту лишь название товара.

Еще один способ – опрос телезрителей после демонстрации рекламы через 24-36 часов (метод запоминания на следующий день).

1. Убедительность

Исследователи выявляют, как изменились предпочтения респондентов после просмотра рекламного ролика. Для тестирования формируют группу и демонстрируют участникам телепрограмму. Показ время от времени прерывают семью рекламными роликами, четыре из которых – тестируемые. По завершении просмотра выясняют, запомнили участники показанную марку или нет. Опрос формирует базис оценки случайной осведомленности, то есть выявляет процент тех, кто вспомнил, что демонстрировался именно этот бренд.

Для оценки убедительности определяют изменения в предпочтениях бренда после непринужденной демонстрации рекламы при просмотре ТВ-программы. Результаты анализируют с предпочтениями относительно бренда со стороны контрольной группы, которая не видела рекламу.

1. Поведение потребителя

В эту категорию оценки эффективности рекламы входит покупка, простимулированная принудительным показом рекламного ролика, тест тиража, основанный на исследовании рекламного эффекта, и контроль, основу которого составляет мониторинг каждого респондента при выполнении многоканального кабельного тестирования.

Для оценки содержания рекламы на всех этапах кампании прибегают к диагностическому исследованию, то есть выявляют, как аудитория воспринимает рекламу. Такое исследование включает в себя список контрольных вопросов и перечень эмоций после просмотра рекламы. Исследователи выявляют, как у респондентов двигаются глаза при просмотре, какие реакции у них вызывает ролик и проч.

Материал для скачивания:

Чтобы разработчики понимали, отвечает ли готовый рекламный продукт поставленным целям и помогает ли он решить конкретные стратегические задачи, тестируют его эффективность. Основываясь на результатах, рекламисты делают вывод о целесообразности вывода продукта на рынок.

1. Место просмотра/прослушивания рекламы (в домашних условиях или за пределами дома).
2. Естественность условий просмотра/прослушивания:

• рекламу просматривают или прослушивают в абсолютно естественных условиях, и респондентов-участников аудитории рекламного ролика отбирают и опрашивают после того как они случайно увидели или услышали рекламу, предварительно не контактируя с ней;
• рекламу просматривают или прослушивают в условиях, приближенных к естественным: опрашиваемых приглашают просмотреть ТВ-передачу (или прослушать программу на радио) и в процессе этого демонстрируют рекламный продукт;
• рекламу просматривают или прослушивают в абсолютно естественных условиях, когда опрашиваемых просят уделить внимание непосредственно рекламному продукту, транслируемому изолированно.

1. Число просмотров рекламы. Информацию исследователи могут собирать как после однократной, так и после многократной трансляции рекламы.

• опрашиваемому демонстрируют рекламу через принудительный просмотр;
• рекламное сообщение исследуют в контексте пробного выпуска журнала или газеты перед реальным размещением рекламы;
• рекламу тестируют после ее размещения в реальном выпуске журнала или газеты.

Основываясь на результатах тестирования печатной и транслируемой на телевидении и по радио рекламы, исследователи определяют:

• насколько запоминающимся стало рекламное сообщение и какова его проникающая способность;
• как в целом воспринимается реклама респондентами;
• как воспринимается главная идея сообщения;
• как меняется отношение к продукту;
• насколько убедительна реклама;
• хочет ли потребитель купить продукт после просмотра рекламного сообщения.

Результаты тестирования демонстрируют, как потребители относятся к рекламе в разные периоды. Тестировать рекламу можно каждый месяц, каждый квартал или каждый год. При оценке опираются на данные об осведомленности о рекламе, определенных тезисах или рекламных составляющих. Однако пользоваться можно любыми измерениями. Лучше всего оценивать эффективность с позиции «затраты-результат». Экономический смысл данного термина характеризуется как отношение затраченных средств к достигнутому результату.

Различают экономическую эффективность рекламы и эффективность психологического воздействия отдельных средств рекламы на сознание человека. Экономическая эффективность рекламы ― это экономический результат, полученный от применения рекламного средства или организации рекламной кампании.

Психологическая эффективность ― степень влияния рекламы на человека (привлечение внимания покупателей, запоминаемость, воздействие на мотив покупки и др.) Причем психологическое воздействие наиболее результативно, если оно приводит потенциальных потребителей к совершению покупки.

Таким образом, экономическая эффективность рекламы зависит от степени ее психологического воздействия на человека. Измерение экономической эффективности рекламы представляет большие трудности, так как реклама, как правило, не дает полного эффекта сразу. Кроме того, рост товарооборота нередко вызывается другими (не рекламными) факторами ― например, изменением покупательской способности населения из-за роста цен и т. п.

Основные методы тестирования рекламного продукта

Рекламу тестируют почти на каждом этапе ее формирования ― как в самом начале, так и в середине и в финале. Тестирование в ходе разработки рекламы ― предварительное. Исследования, проводимые в разгар рекламной кампании и по ее завершении ― текущие и заключительные.

Рассмотрим каждый вид тестирования:

1. Предварительное тестирование, или предтестирование.

Главное в ходе предварительного тестирования – уточнить важные для коммуникационной стратегии показатели. Предварительное тестирование помогает не допустить ошибок и понять, что идея рекламной кампании выбрана правильно.

Материал для скачивания:

Рассказывает практик

Самый лучший метод тестирования сайта

Наиболее распространенным методом исследований считают А/Б-тестирование, суть которого ясна из названия: берут два параметра – А и Б и тестируют их. Условия исследования должны быть одинаковыми. Параметры оценивает или специальная группа, или простые люди, которые зачастую даже не догадываются, что оценивают сайт компании. Они выполняют привычные действия, а вы контролируете каждый их шаг. Тестировать таким способом можно почти все ― от заголовков, цветового оформления и вариантов дизайна до расположения на сайте рекламных конструкций и проч.

Чтобы получить объективную информацию, нужно руководствоваться определенными принципами. Варианты А и Б должны различаться только одним параметром, к примеру, цветом шрифта. При внесении сразу нескольких изменений будет трудно установить, что именно и каким образом влияет на результат. Трафик между вариантами должен распределяться случайно, что сводит к минимуму влияние такого параметра, как источник трафика. Тестирование изменений мы рекомендуем проводить на новых посетителях – так вы добьетесь более объективных результатов.

Чтобы получить максимально достоверные результаты, нужно опросить хотя бы 1000 респондентов, а в идеале – 10000. Если получить такие данные не позволяет трафик, лучше подождать.

И, наконец: не доверяйте себе. У нас у всех в голове сформировалась определенная картина об идеальном сайте. Если вы полагаете, что рекламную конструкцию лучше размещать в нижней части, но итоги А/Б-тестирования говорят об обратном, не считайте это недоразумением. Верьте результатам тестирования, и только им.

Значительная часть производственного процесса опирается на тестирование программ. Что это такое и как осуществляется подобная деятельность обсудим в данной статье.

Что называют тестированием?

Под этим понимают процесс, во время которого выполняется программное обеспечение с целью обнаружения мест некорректного функционирования кода. Для достижения наилучшего результата намеренно конструируются трудные наборы входных данных. Главная цель проверяющего заключается в том, чтобы создать оптимальные возможности для отказа Хотя иногда тестирование разработанной программы может быть упрощено до обычной проверки работоспособности и выполнения функций. Это позволяет сэкономить время, но часто сопровождается ненадежностью программного обеспечения, недовольством пользователей и так далее.

Эффективность

То, насколько хорошо и быстро находятся ошибки, существенным образом влияет на стоимость и длительность разработки программного обеспечения необходимого качества. Так, несмотря на то, что тестеры получают заработную плату в несколько раз меньшую, чем программисты, стоимость их услуг обычно достигает 30 - 40 % от стоимости всего проекта. Это происходит из-за численности личного состава, поскольку искать ошибку - это необычный и довольно трудный процесс. Но даже если программное обеспечение прошло солидное количество тестов, то нет 100 % гарантии, что ошибок не будет. Просто неизвестно, когда они проявятся. Чтобы стимулировать тестеров выбирать типы проверки, которые с большей вероятностью найдут ошибку, применяются различные средства мотивации: как моральные, так и материальные.

Подход к работе

Оптимальной является ситуация, когда реализовываются различные механизмы, направленные на то, чтобы ошибок в программном обеспечении не было с самого начала. Для этого необходимо позаботится о грамотном проектировании архитектуры, четком техническом задании, а также важно не вносить коррективы в связи, когда работа над проектом уже начата. В таком случае перед тестером стоит задача нахождения и определения небольшого количества ошибок, которые остаются в конечном результате. Это сэкономит и время, и деньги.

Что такое тест?

Это немаловажный аспект деятельности проверяющего, который необходим для успешного выявления недочетов программного кода. Они необходимы для того, чтобы контролировать правильность приложения. Что входит в тест? Он состоит их начальных данных и значений, которые должны получиться как результирующие (или промежуточные). Для того чтобы успешнее выявлять проблемы и несоответствия, тесты необходимо составлять после того, как был разработан алгоритм, но не началось программирование. Причем желательно использовать несколько подходов при расчете необходимых данных. В таком случае растёт вероятность обнаружения ошибки благодаря тому, что можно исследовать код с другой точки зрения. Комплексно тесты должны обеспечивать проверку внешних эффектов готового программного изделия, а также его алгоритмов работы. Особенный интерес предоставляют предельные и вырожденные случаи. Так, в практике деятельности с ошибками часто можно выявить, что цикл работает на один раз меньше или больше, чем было запланировано. Также важным является тестирование компьютера, благодаря которому можно проверить соответствие желаемому результату на различных машинах. Это необходимо для того, чтобы удостовериться, что программное обеспечение сможет работать на всех ЭВМ. Кроме того, тестирование компьютера, на котором будет выполняться разработка, является важным при создании мультиплатформенных разработок.

Искусство поиска ошибок

Программы часто нацелены на работу с огромным массивом данных. Неужели его необходимо создавать полностью? Нет. Широкое распространение приобрела практика «миниатюризации» программы. В данном случае происходит разумное сокращение объема данных по сравнению с тем, что должно использоваться. Давайте рассмотрим такой пример: есть программа, в которой создаётся матрица размером 50x50. Иными словами - необходимо вручную ввести 2500 тысячи значений. Это, конечно, возможно, но займёт очень много времени. Но чтобы проверить работоспособность, программный продукт получает матрицу, размерность которой составляет 5x5. Для этого нужно будет ввести уже 25 значений. Если в данном случае наблюдается нормальная, безошибочная работа, то это значит, что всё в порядке. Хотя и здесь существуют подводные камни, которые заключаются в том, что при миниатюризации происходит ситуация, в результате которой изменения становятся неявными и временно исчезают. Также очень редко, но всё же случается и такое, что появляются новые ошибки.

Преследуемые цели

Тестирование ПО не является легким делом из-за того, что данный процесс не поддаётся формализации в полном объеме. Большие программы почти никогда не обладают необходимым точным эталоном. Поэтому в качестве ориентира используют ряд косвенных данных, которые, правда, не могут полностью отражать характеристики и функции программных разработок, что отлаживаются. Причем они должны быть подобраны таким образом, чтобы правильный результат вычислялся ещё до того, как программный продукт будет тестирован. Если этого не сделать заранее, то возникает соблазн считать всё приблизительно, и если машинный результат попадёт в предполагаемый диапазон, то будет принято ошибочное решение, что всё правильно.

Проверка в различных условиях

Как правило, тестирование программ происходит в объемах, которые необходимы для минимальной проверки функциональности в ограниченных пределах. Деятельность ведётся с изменением параметров, а также условий их работы. Процесс тестирования можно поделить на три этапа:

• Проверка в обычных условиях. В данном случае тестируется основной функционал разработанного программного обеспечения. Полученный результат должен соответствовать ожидаемому.
• Проверка в чрезвычайных условиях. В этих случаях подразумевается получение граничных данных, которые могут негативно повлиять на работоспособность созданного программного обеспечения. В качестве примера можно привести работу с чрезвычайно большими или малыми числами, или вообще, полное отсутствие получаемой информации.
• Проверка при исключительных ситуациях. Она предполагает использование данных, которые лежат за гранью обработки. В таких ситуациях очень плохо, когда программное обеспечение воспринимает их как пригодные к расчету и выдаёт правдоподобный результат. Необходимо позаботиться, чтобы в подобных случаях происходило отвержение любых данных, которые не могут быть корректно обработаны. Также необходимо предусмотреть информирование об этом пользователя

Тестирование ПО: виды

Создавать программное обеспечение без ошибок весьма трудно. Это требует значительного количества времени. Чтобы получить хороший продукт часто применяются два вида тестирования: «Альфа» и «Бета». Что они собой представляют? Когда говорят об альфа-тестировании, то под ним подразумевают проверку, которую проводит сам штат разработчиков в «лабораторных» условиях. Это последний этап проверки перед тем, как программа будет передана конечным пользователям. Поэтому разработчики стараются развернуться по максимуму. Для легкости работы данные могут протоколироваться, чтобы создавать хронологию проблем и их устранения. Под бета-тестированием понимают поставку программного обеспечения ограниченному кругу пользователей, чтобы они смогли поэксплуатировать программу и выявить пропущенные ошибки. Особенностью в данном случае является то, что часто ПО используется не по своему целевому назначению. Благодаря этому неисправности будут выявляться там, где ранее ничего не было замечено. Это вполне нормально и переживать по этому поводу не нужно.

Завершение тестирования

Если предыдущие этапы были успешно завершены, то остаётся провести приемочный тест. Он в данном случае становиться простой формальностью. Во время данной проверки происходит подтверждение, что никаких дополнительных проблем не найдено и программное обеспечение можно выпускать на рынок. Чем большую важность будет иметь конечный результат, тем внимательней должна проводиться проверка. Необходимо следить за тем, чтобы все этапы были пройдены успешно. Вот так выглядит процесс тестирования в целом. А теперь давайте углубимся в технические детали и поговорим о таких полезных инструментах, как тестовые программы. Что они собой представляют и в каких случаях используются?

Автоматизированное тестирование

Ранее считалось, что динамический анализ разработанного ПО - это слишком тяжелый подход, который неэффективно использовать для обнаружения дефектов. Но из-за увеличения сложности и объема программ появился противоположный взгляд. Автоматическое тестирование применяется там, где самыми важными приоритетами является работоспособность и безопасность. И они должны быть при любых входных данных. В качестве примера программ, для которых целесообразным является такое тестирование, можно привести следующие: сетевые протоколы, веб-сервер, sandboxing. Мы далее рассмотрим несколько образцов, которые можно использовать для такой деятельности. Если интересуют бесплатные программы тестирования, то среди них качественные найти довольно сложно. Но существуют взломанные «пиратские» версии хорошо зарекомендовавших себя проектов, поэтому можно обратиться к их услугам.

Avalanche

Этот инструмент помогает обнаружить дефекты, проходя тестирование программ в режиме динамического анализа. Он собирает данные и анализирует трассу выполнения разработанного объекта. Тестеру же предоставляется набор входных данных, которые вызывают ошибку или обходят набор имеющихся ограничений. Благодаря наличию хорошего алгоритма проверки разрабатывается большое количество возможных ситуаций. Программа получает различные наборы входных данных, которые позволяют смоделировать значительное число ситуаций и создать такие условия, когда наиболее вероятным является возникновение сбоя. Важным преимуществом программы считается применение эвристической метрики. Если есть проблема, то ошибка приложения находится с высокой вероятностью. Но эта программа имеет ограничения вроде проверки только одного помеченного входного сокета или файла. При проведении такой операции, как тестирование программ, будет содержаться детальная информация о наличие проблем с нулевыми указателями, бесконечными циклами, некорректными адресами или неисправностями из-за использования библиотек. Конечно, это не полный список обнаруживаемых ошибок, а только их распространённые примеры. Исправлять недочеты, увы, придётся разработчикам - автоматические средства для этих целей не подходят.

KLEE

Это хорошая программа для тестирования памяти. Она может перехватывать примерно 50 системных вызовов и большое количество виртуальных процессов, таким образом, выполняется параллельно и отдельно. Но в целом программа не ищет отдельные подозрительные места, а обрабатывает максимально возможное количество кода и проводит анализ используемых путей передачи данных. Из-за этого время тестирования программы зависит от размера объекта. При проверке ставка сделана на символические процессы. Они являются одним из возможных путей выполнения задач в программе, которая проверяется. Благодаря параллельной работе можно анализировать большое количество вариантов работы исследуемого приложения. Для каждого пути после окончания его тестирования сохраняются наборы входных данных, с которых начиналась проверка. Следует отметить, что тестирование программ с помощью KLEE помогает выявлять большое количество отклонений, которых не должно быть. Она может найти проблемы даже в приложениях, которые разрабатываются десятилетиями.