Тестирование всех пар - All-pairs testing

В Информатика, тестирование всех пар или же попарное тестирование это комбинаторный метод тестирование программного обеспечения это для каждая пара входных параметров в систему (обычно программного обеспечения алгоритм ), проверяет все возможные дискретные комбинации этих параметров. Используя тщательно подобранные тестовые векторы, это можно сделать намного быстрее, чем исчерпывающий поиск все комбинации всех параметров путем «распараллеливания» тестов пар параметров.

Обоснование

Наиболее распространенные ошибки в программе обычно вызываются либо одним входным параметром, либо взаимодействием между парами параметров.^[1] Ошибки, связанные с взаимодействием трех или более параметров, встречаются все реже. ^[2] а также все более и более дорогостоящие - такое тестирование ограничивает тестирование всех возможных входных данных.^[3] Таким образом, комбинаторный метод выбора тестовых примеров, таких как тестирование всех пар, представляет собой полезный компромисс с точки зрения затрат и выгод, который позволяет значительно сократить количество тестовых примеров без значительного ущерба для функционального покрытия.^[4]

Более строго, если мы предположим, что тестовый пример имеет ${\displaystyle N}$ параметры даны в наборе ${\displaystyle \{P_{i}\}=\{P_{1},P_{2},...,P_{N}\}}$. Диапазон параметров представлен как ${\displaystyle R(P_{i})=R_{i}}$.Предположим, что ${\displaystyle |R_{i}|=n_{i}}$Отметим, что количество всех возможных тестовых случаев составляет ${\displaystyle \prod n_{i}}$. Представление, что код имеет дело с условиями, принимающими только два параметра одновременно, может уменьшить количество необходимых тестовых примеров.^{[требуется разъяснение ]}

Для демонстрации предположим, что есть параметры X, Y, Z. Мы можем использовать предикат формы ${\displaystyle P(X,Y,Z)}$ порядка 3, который принимает все 3 в качестве входных данных, или, скорее, три разных предиката порядка 2 вида ${\displaystyle p(u,v)}$. ${\displaystyle P(X,Y,Z)}$ можно записать в эквивалентной форме ${\displaystyle p_{xy}(X,Y),p_{yz}(Y,Z),p_{zx}(Z,X)}$ где запятая обозначает любую комбинацию. Если код записан в виде условий, принимающих «пары» параметров, то набор вариантов выбора диапазонов ${\displaystyle X=\{n_{i}\}}$ может быть мультимножество^{[требуется разъяснение ]}, потому что может быть несколько параметров с одинаковым количеством вариантов.

${\displaystyle max(S)}$ один из максимумов мультимножества ${\displaystyle S}$Количество парных тестовых примеров для этой тестовой функции будет: -${\displaystyle T=max(X)\times max(X\setminus max(X))}$

Следовательно, если ${\displaystyle n=max(X)}$ и ${\displaystyle m=max(X\setminus max(X))}$ то количество тестов обычно равно O (нм), куда п и м - это количество возможностей для каждого из двух параметров с наибольшим выбором, и оно может быть намного меньше, чем исчерпывающий ${\displaystyle \prod n_{i}}$·

N-мудрое тестирование

N-образное тестирование можно рассматривать как обобщенную форму попарного тестирования.^{[нужна цитата ]}

Идея состоит в том, чтобы применить сортировка к набору ${\displaystyle X=\{n_{i}\}}$ так что ${\displaystyle P=\{P_{i}\}}$ тоже упорядочивается. Пусть отсортированный набор будет ${\displaystyle N}$ кортеж: -

${\displaystyle P_{s}=<P_{i}>\;;\;i<j\implies |R(P_{i})|<|R(P_{j})|}$

Теперь мы можем взять набор ${\displaystyle X(2)=\{P_{N-1},P_{N-2}\}}$ и назовем это попарным тестированием. Обобщая дальше, мы можем взять множество ${\displaystyle X(3)=\{P_{N-1},P_{N-2},P_{N-3}\}}$ и назовем это трехуровневым тестированием. В конце концов, мы можем сказать ${\displaystyle X(T)=\{P_{N-1},P_{N-2},...,P_{N-T}\}}$ Т-образное тестирование.

Тогда N-мудрая проверка будет представлять собой все возможные комбинации из приведенной выше формулы.

Пример

Учитывайте параметры, указанные в таблице ниже.

Имя параметра	Значение 1	Значение 2	Значение 3	Значение 4
Включено	Истинный	Ложь	*	*
Тип выбора	1	2	3	*
Категория	а	б	c	d

«Включено», «Тип выбора» и «Категория» имеют диапазон выбора 2, 3 и 4 соответственно. Исчерпывающий тест включает 24 теста (2 x 3 x 4). Умножение двух наибольших значений (3 и 4) показывает, что парные тесты будут включать 12 тестов. Ниже показаны парные тестовые примеры, созданные с помощью инструмента Microsoft «pict».

Включено	Тип выбора	Категория
Истинный	3	а
Истинный	1	d
Ложь	1	c
Ложь	2	d
Истинный	2	c
Ложь	2	а
Ложь	1	а
Ложь	3	б
Истинный	2	б
Истинный	3	d
Ложь	3	c
Истинный	1	б

Смотрите также

• Тестирование программного обеспечения
• Проверка ортогональных массивов

Примечания

1. Блэк, Рекс (2007). Прагматичное тестирование программного обеспечения: стать эффективным и действенным профессионалом в области тестирования. Нью-Йорк: Wiley. п. 240. ISBN  978-0-470-12790-2.
2. Кун, Д. Ричард; Уоллес, Долорес Р .; Галло, Альберт М., младший (июнь 2004 г.). «Взаимодействие с программными сбоями и их последствия для тестирования программного обеспечения» (PDF). IEEE Transactions по разработке программного обеспечения. 30 (6): 418–421. Дои:10.1109 / TSE.2004.24.
3. Кун, Д. Ричард; Kacker, Raghu N .; Ю Лэй (октябрь 2010 г.). Практическое комбинаторное тестирование. СП 800-142 (Отчет). Национальный институт стандартов и технологий. Дои:10.6028 / NIST.SP.800-142.
4. IEEE 12. Материалы 5-й Международной конференции по тестированию и валидации программного обеспечения (ICST). Центр компетенции в области программного обеспечения Хагенберг. "Дизайн тестов: извлеченные уроки и практическое применение. IEEE STD 829-2008. 18 июля 2008 г. С. 1–150. Дои:10.1109 / IEEESTD.2008.4578383. ISBN  978-0-7381-5746-7.

внешняя ссылка

• Парное тестирование
• Парное и обобщенное t-образное комбинаторное тестирование
• Парное тестирование в реальном мире: практическое расширение тестовых сценариев