Краудсорсинговое тестирование - Crowdsourced testing

Для компании, занимающейся тестированием программного обеспечения, см. Краудсорсинговое тестирование (Компания).

Краудсорсинговое тестирование это новая тенденция в тестирование программного обеспечения который использует преимущества, эффективность и действенность краудсорсинг и облачная платформа. Он отличается от традиционных методов тестирования тем, что тестирование проводится несколькими разными тестировщиками из разных мест, а не нанятыми консультантами и профессионалами. Программное обеспечение тестируется на различных реалистичных платформах, что делает его более надежным, экономичным и быстрым.[нужна цитата ] Кроме того, краудсорсинговое тестирование может позволить удаленное юзабилити-тестирование потому что конкретные целевые группы могут быть привлечены через толпу.

Этот метод тестирования рассматривается, когда программное обеспечение более ориентировано на пользователя: то есть программное обеспечение, успех которого определяется его отзывами пользователей и которое имеет разнообразное пользовательское пространство. Это часто реализуется с играми и мобильными приложениями, когда для конкретного тестирования требуются эксперты, которых трудно найти в одном месте, или когда компании не хватает ресурсов или времени для проведения внутреннего тестирования.

Система

Компании Crowdsource, занимающиеся тестированием, предоставляют платформу для циклов тестирования, как правило, бесплатно для компаний, чьи продукты тестируются. Затем они передают продукт сообществу тестировщиков, которые добровольно регистрируются для тестирования программного обеспечения. Этим тестерам обычно платят либо по времени, либо за действие, либо за ошибка в зависимости от типа ошибки и ее рыночной цены. Команда краудсорсингового тестирования может быть в дополнение к собственной гарантия качества команду или замену.

В зависимости от платформы и поставщика метод доступа различается. Наиболее распространены:

  • Самообслуживание, когда заказчик напрямую взаимодействует с тестировщиками
  • Управляемый, когда заказчик взаимодействует с конкретным человеком, а не напрямую с тестировщиками.
  • API, где заказчик запрашивает запуск тестов через API, и не взаимодействует напрямую с тестировщиками
  • Смешанный, где это комбинация вышеперечисленного.

Преимущества краудсорсингового тестирования

Краудсорсинговое тестирование дает несколько преимуществ:

  • Это возможно и, как правило, проще, чем наем, получить круглосуточное покрытие и иметь возможность тестировать в любое время.
  • У группы внутреннего тестирования может не быть необходимой настройки или оборудования для тестирования программного обеспечения в разных средах и в разных ситуациях. например различная пропускная способность Интернета, устройства и т. д.
  • Если платить за каждую ошибку, это может быть рентабельным, поскольку продуктовая компания платит только за достоверные сообщения об ошибках.
  • Тестировщики, выполняющие работу, беспристрастны из-за того, что много знают об тестируемом программном обеспечении. Это может помочь им заметить вещи, которые в противном случае можно было бы упустить, но для этого требуются более подробные тестовые примеры.
  • Краудсорсинг может найти тестировщиков с разными языками, а также локации. Это помогает в тестировании приложений, требующих тестирования локализации.
  • Большинство платформ позволяют масштабироваться от нулевой команды до нужного вам числа по запросу. Это является преимуществом для заказчика, поскольку чем больше тестеров тестируют программное обеспечение одновременно, тем быстрее можно проводить тестирование.
  • Тестировщики, выполняющие тесты различных приложений, выявят общие антипаттерны.[1]

Недостатки краудсорсингового тестирования

У краудсорсингового тестирования есть несколько недостатков:[2]

  • Конфиденциальность необходимо тщательно контролировать, поскольку количество лиц, не являющихся внутренними, наблюдающих за тестируемой системой, увеличивается. Это может увеличить риск утечки инноваций и новых функций среди конкурентов. Некоторые компании требуют, чтобы тестировщики подписали Соглашение о неразглашении.
  • Немедленное и быстрое общение с группой тестировщиков краудсорсинга может быть трудным или невозможным в зависимости от метода управления.
  • Краудсорсинговые тестировщики, которым компенсируется количество обнаруженных ошибок, могут найти большее количество менее значимых ошибок, создавая шум для клиента, в то же время пропуская более трудные для воспроизведения ошибки. Это связано с проблема принципала-агента.
  • Если управлять толпой напрямую, краудсорсинговое тестирование приведет к увеличению потребности в надзоре со стороны руководства из-за различий в тестировщиках. часовые пояса и местоположения, языки и культуры. Это можно смягчить с помощью управляемых служб или служб на основе API, поскольку заказчик не управляет тестировщиками напрямую.
  • Обеспечение тестового покрытия при краудсорсинговом тестировании может быть трудным, поскольку некоторые платформы не поддерживают хорошую отчетность. Это означает, что тестирование не планируется и не отслеживается так же, как традиционные. водопад или же Проворный тест усилия.

Краудсорсинговое тестирование vs. аутсорсинговое тестирование

Краудсорсинговое тестирование можно рассматривать как подтип аутсорсинг тестирования программного обеспечения.

Хотя для некоторых проектов можно обойтись только тем или иным подходом, более тщательный подход предполагает использование более разнообразных методов тестирования программного обеспечения. [3] который использует как специальную команду тестирования, так и толпу. Crowdsource-тестирование лучше всего подходит для таких вещей, как бета-тестирование и тестирование совместимости, которые являются необходимыми заключительными этапами тестирования; однако большая часть программного обеспечения слишком сложна для такого тестирования на поздних стадиях, чтобы охватить все возможные проблемы. Специальная внештатная или внутренняя команда тестирования даст лучшее представление о возможных дефектах программного обеспечения, но не приблизится к масштабам краудтестинга. Поэтому хорошим решением является объединение нескольких групп тестирования в любой проект разработки (а также разработка с соблюдением принципов тестируемости.[4] в уме с самого начала.)

Сам по себе краудсорсинг может не дать лучших отзывов о приложениях. Разнообразный подход к тестированию, объединяющий как краудсорсинговое тестирование, так и специальную команду тестирования, может быть благоприятным. «Такое разнообразие кадров позволяет вам гибко увеличивать и уменьшать объем ресурсов, соблюдая жесткие сроки в пиковые периоды разработки и тестирования, и контролируя расходы в периоды замедления».[5]

Рекомендации

  1. ^ Соффер, Фил. «Подумайте о краудтестинге, подумайте о сексе: все дело в ДНК». Получено 9 сентября 2016.
  2. ^ Ноэль, Вурст. «Внедрение инновационного краудсорсингового тестирования: интервью с Раджини Падманабаном». Получено 12 апреля 2013.
  3. ^ «Преимущества комплексного тестирования программного обеспечения - QualiTest Group». qualitestgroup.com. Архивировано из оригинал на 2014-08-06. Получено 2014-03-12.
  4. ^ «Сократите время тестирования за счет разработки для тестируемости». qualitestgroup.com. Архивировано из оригинал на 2013-10-09. Получено 2014-03-12.
  5. ^ «Преимущества комплексного тестирования программного обеспечения - QualiTest Group». qualitestgroup.com. Архивировано из оригинал в 2015-09-19. Получено 2015-01-20.