Конкурс проверки отпечатков пальцев - Fingerprint Verification Competition

В Конкурс проверки отпечатков пальцев (FVC) - это устаревший международный конкурс, ориентированный на отпечаток пальца оценка программного обеспечения для верификации. ^[1] Это стало в значительной степени неактуальным для коммерческих поставщиков отпечатков пальцев после того, как Национальный институт науки и технологий США (NIST) представил бесплатный, но общедоступный проприетарный тест отпечатков пальцев (PFT I, II и III, работающий с 2004 года по настоящее время). Как только тест NIST был доступен, все основные коммерческие поставщики отпечатков пальцев перешли на тест NIST и перестали платить за участие в FVC. Тесты FVC, которые последовали в 2006 году и позже, были заполнены в основном анонимными участниками и исследователями. Несколько оппортунистических коммерческих поставщиков, которые по причинам, известным только им, не участвовали в публичном тесте NIST, вместо этого воспользовались возможностью участвовать в тесте FVC, а затем рекламировали тот факт, что они «превзошли» анонимных участников. Важно посмотреть на участников, которых «обыгрывает» поставщик, и решить, не обманывает ли поставщик.

Другой обманчивой практикой было использование конкурентами по борьбе с отпечатками пальцев средних показателей точности FVC, чтобы охарактеризовать характеристики и точность всех продуктов с отпечатками пальцев как худшие по сравнению с их альтернативным биометрическим методом.

Как работает FVC: зарегистрированным участникам была предоставлена подмножество отпечатков пальцев, полученных с помощью различных датчиков, чтобы они могли настроить параметры своих алгоритмов. Участников попросили предоставить для регистрации и сопоставления исполняемые файлы своих алгоритмов; Оценка проводилась на объектах организаторов с использованием представленных исполняемых файлов в изолированной базе данных, полученных с помощью тех же датчиков, что и обучающий набор.

Организаторами FVC являются:

Каждый участник может представить до одного алгоритма в открытой и легкой категориях.

Первый, второй и третий международные соревнования по верификации отпечатков пальцев (FVC2000, FVC2002 и FVC2004) были организованы в 2000, 2002 и 2004 годах соответственно. Эти мероприятия привлекли большое внимание как академического, так и промышленного биометрического сообщества. Они установили общий тест, позволяющий разработчикам однозначно сравнивать свои алгоритмы, и предоставили обзор современного состояния в распознавание отпечатков пальцев. Судя по реакции биометрического сообщества, инициативы FVC2000, FVC2002 и FVC2004, несомненно, были успешными. Интерес, проявленный к предыдущим выпускам со стороны сообщества исследователей биометрии, побудил организаторов запланировать новый конкурс на 2006 год.

В 2006 году было:

Четыре новых базы данных (три реальные и одна синтетическая)
Две категории (открытая и легкая)
53 участника (27 промышленных, 13 академических и 13 независимых разработчиков)
Представлено 70 алгоритмов (44 в открытой категории и 26 в легкой категории)

Цель

Постоянный прогресс в области биометрических систем и, в частности, систем на основе отпечатков пальцев (как в методах сопоставления, так и в сенсорных устройствах) требует, чтобы оценка производительности биометрических систем проводилась через регулярные промежутки времени.
Целью FVC2006 является отслеживание последних достижений в области проверки отпечатков пальцев как для академических кругов, так и для промышленности, а также для оценки последних достижений в технологии отпечатков пальцев.
Дальнейшее тестирование по вопросам, связанным с совместимостью и качеством, будет выполнено на втором этапе после завершения конкурса.
Этот конкурс не следует рассматривать как «официальную» сертификацию биометрических систем, поскольку только части системного программного обеспечения будут оцениваться с использованием изображений с датчиков, не присущих каждой системе. Тем не менее, результаты этого конкурса дадут полезный обзор состояния дел в этой области и послужат руководством для участников по улучшению их алгоритмов.

Категории

Два разных под-соревнования (открытая категория и легкая категория) будут организованы с использованием одних и тех же баз данных.
Каждому участнику разрешается представить только один алгоритм в каждой категории.
В открытой категории нет ограничений по объему памяти и размеру шаблона. Из соображений практического тестирования максимальное время отклика алгоритмов ограничено следующим образом: максимальное время для каждой регистрации составляет пять секунд, а максимальное время для каждого сопоставления - три секунды. Тест будет выполняться под Windows XP Professional O.S. на ПК Intel Pentium 4 - 3,20 ГГц - 1,00 ГБ БАРАН.
Категория Light предназначена для алгоритмов, разработанных для легких архитектур и, следовательно, характеризующихся низкими вычислительными потребностями, ограниченным использованием памяти и небольшим размером шаблона. Максимальное время регистрации составляет 0,3 секунды, а максимальное время сопоставления - 0,1 секунды. Тест будет проводиться под Windows XP Professional O.S. на ПК Iintel Pentium 4 - 3,20 ГГц - 1,00 ГБ ОЗУ. Максимальный объем памяти, который может быть выделен процессами, составляет 4 МБ. Максимальный размер шаблона - 2 кБ. Участникам будет предоставлена служебная программа для проверки соответствия исполняемых файлов требованиям к памяти.

Базы данных

Одна из самых важных и трудоемких задач оценки любой биометрической системы - это сбор данных. Организаторы создали многопользовательскую базу данных, содержащую четыре отдельные базы данных отпечатков пальцев, каждая из которых собрана с помощью различных сенсорных технологий.

Четыре разных базы данных, предоставленные организаторами, составляют тест: DB1, DB2, DB3 и DB4. Каждая база данных имеет ширину 150 пальцев и глубину 12 образцов на палец (1800 изображений отпечатков пальцев). Каждая база данных разделена на два непересекающихся подмножества A и B:

подмножества DB1-A, DB2-A, DB3-A и DB4-A, которые содержат первые 140 пальцев (1680 изображений) DB1, DB2, DB3 и DB4, соответственно, используются для оценки производительности алгоритма.
подмножества DB1-B, DB2-B, DB3-B и DB4-B, содержащие последние 10 пальцев (120 изображений) DB1, DB2, DB3 и DB4, соответственно, будут доступны участникам в качестве набора для разработки, чтобы позволить настройка параметров перед отправкой.

Во время оценки производительности отпечатки пальцев, принадлежащие одной базе данных, будут сравниваться друг с другом.
Формат изображения - BMP, 256 уровней серого, без сжатия.
Размер и разрешение изображения различаются в зависимости от базы данных (подробная информация доступна участникам).
Сбор данных в FVC2006 проводился без преднамеренного введения таких сложностей, как преувеличенное искажение, большое количество вращения и смещения, а также влажные и сухие оттиски (как это было сделано в предыдущих выпусках), но популяция более разнородна и также включает рабочих и пожилых людей. люди. Добровольцев просто просят приложить пальцы к устройству для сбора данных, но не было наложено никаких ограничений, чтобы гарантировать минимальное качество полученных изображений. Окончательные наборы данных были отобраны из более крупной базы данных путем выбора наиболее сложных пальцев в соответствии с показателем качества, чтобы сделать эталонный тест достаточно сложным для оценки технологии.

Оценка эффективности

Для каждой базы данных и для каждого алгоритма:

Каждая выборка в подмножестве A сравнивается с оставшимися выборками того же пальца, чтобы вычислить частоту ложного несоответствия (FNMR) (также называемую частотой ложного отклонения - FRR). Если изображение g совпадает с h, симметричное сопоставление (то есть h против g) не выполняется, чтобы избежать корреляции в оценках. Общее количество подлинных тестов (в случае отсутствия отказов в зачислении) составляет:

     ((12*11) /2) * 140 = 9,240

Первая выборка каждого пальца в подмножестве A сопоставляется с первой выборкой из оставшихся пальцев в A для вычисления частоты ложных совпадений (FMR) (также называемой частотой ложных приемов - FAR). Если изображение g сопоставляется с h, симметричное сопоставление (например, h с g) не выполняется, чтобы избежать корреляции в оценках. Общее количество тестов на самозванца (в случае отсутствия отказов в зачислении) составляет:

     ((140*139) /2) = 9,730

Хотя есть возможность отклонить изображения при регистрации, это настоятельно не рекомендуется. Фактически, в FVC2006, как и в FVC2004 и FVC2002, отказ в регистрации сливается с другими показателями ошибок для окончательного ранжирования; в частности, каждый отказ в регистрации приведет к появлению «призрачного» шаблона, который не будет совпадать (с нулевой оценкой) со всеми оставшимися отпечатками пальцев.

Для каждого алгоритма и для каждой базы данных приводятся следующие показатели эффективности:

REJENROLL (количество отклоненных отпечатков пальцев во время регистрации)
РЕЙНГРА (Количество отклоненных отпечатков пальцев во время подлинных матчей)
РЕДЖНИРА (Количество отклоненных отпечатков пальцев во время матчей самозванцев)
Распределение очков Impostor и Genuine
Кривые FMR (t) / FNMR (t), где t - порог приемлемости
Кривая ROC (t)
EER (равный коэффициент ошибок)
EER * (значение, которое будет принимать EER, если совпадающие отказы были исключены из вычисления FMR и FNMR)
FMR100 (самый низкий FNMR для FMR <= 1%)
FMR1000 (самый низкий FNMR для FMR <= 0,1%)
ZeroFMR (самый низкий FNMR для FMR = 0%)
ZeroFNMR (самый низкий FMR для FNMR = 0%)
Среднее время зачисления
Среднее время сопоставления
Средний и максимальный размер шаблона
Максимальный объем выделенной памяти

По четырем базам данных представлены следующие средние показатели производительности:

Средний EER
Средний FMR100
Средний FMR1000
Средний ZeroFMR
Средний REJENROLL (среднее количество отклоненных отпечатков пальцев во время регистрации)
Среднее REJMATCH (среднее количество отклоненных отпечатков пальцев во время совпадений подлинных и самозваных)
Среднее время зачисления
Среднее время сопоставления
Средний размер шаблона (рассчитывается на основе среднего размера шаблона для каждой базы данных)
Средний объем выделенной памяти (рассчитывается на основе максимального объема памяти, выделенной для каждой базы данных)

Участников

Участники могут быть из академических кругов, представителей отрасли или независимых разработчиков.
Будет принято анонимное участие: участникам будет разрешено решать, хотят ли они публиковать свои имена вместе с характеристиками своего алгоритма. Участники будут конфиденциально проинформированы о производительности их алгоритмов, прежде чем им потребуется принять это решение. В случае, если участник решит остаться анонимным, будет использован ярлык «анонимная организация», а настоящая личность не будет раскрыта.
Вместе со своими материалами участники должны будут предоставить некоторую общую, высокоуровневую информацию о своих алгоритмах (аналогичную тем, о которых сообщается в FVC2004, см. [R. Cappelli, D. Maio, D. Maltoni, JL Wayman and AK Jain, “ Оценка производительности систем проверки отпечатков пальцев », IEEE Transactions on Pattern Analysis Machine Intelligence, январь 2006 г.]). Хотя эта необходимая информация не будет раскрывать промышленные секреты, поскольку это описание подходов на очень высоком уровне, она может быть интересна всему сообществу специалистов по отпечаткам пальцев.
Организаторы FVC2006 не будут участвовать в конкурсе.

Смотрите также

внешняя ссылка

[1] "Конкурс проверки отпечатков пальцев | Семантический ученый". www.semanticscholar.org. Получено 2020-11-15.

[1]