Мультилинейное подпространственное обучение - Multilinear subspace learning

Видео или последовательность изображений, представленная в виде тензора третьего порядка столбца x строки x времени для обучения полилинейному подпространству.

Мультилинейное подпространственное обучение подход к уменьшению размерности.[1][2][3][4][5] Снижение размерности может выполняться на данных тензор чьи наблюдения были векторизованы[1] и организованы в тензор данных, или чьи наблюдения представляют собой матрицы, которые объединены в тензор данных.[6][7] Вот несколько примеров тензоров данных, чьи наблюдения векторизованы или чьи наблюдения представляют собой матрицы, объединенные в тензор данных. изображений (2D / 3D), видео последовательности (3D / 4D) и гиперспектральные кубы (3D / 4D).

Отображение из многомерное векторное пространство к набору низкоразмерных векторные пространства это мультилинейная проекция.[4] Когда наблюдения сохраняются в той же организационной структуре, что и датчик; в виде матриц или тензоров более высокого порядка их представления вычисляются путем выполнения N нескольких линейных проекций.[6]

Алгоритмы обучения мультилинейных подпространств являются обобщениями высшего порядка линейное подпространство методы обучения, такие как Анализ главных компонентов (PCA), независимый компонентный анализ (ICA), линейный дискриминантный анализ (LDA) и канонический корреляционный анализ (CCA).

Фон

С достижениями в получение данных и технология хранения, большое количество данных (или массивные наборы данных) ежедневно генерируются в широком спектре новых приложений. Большинство этих больших данных многомерны. Более того, они обычно очень-многомерный, с большой степенью избыточности и занимающей только часть входного пространства. Следовательно, уменьшение размерности часто используется для отображения многомерные данные в низкоразмерное пространство, сохраняя при этом как можно больше информации.

Линейное подпространство алгоритмы обучения - это традиционные методы уменьшения размерности, которые представляют входные данные как векторов и решить для оптимального линейное отображение в пространство меньшей размерности. К сожалению, они часто становятся неадекватными при работе с огромными многомерными данными. Они приводят к векторам очень большой размерности, приводят к оценке большого количества параметров.[1][6][7][8][9]

Мультилинейное обучение подпространству использует различные типы инструментов тензорного анализа данных для уменьшения размерности. Мультилинейное подпространственное обучение может применяться к наблюдениям, измерения которых были векторизованы и организованы в тензор данных,[1] или чьи измерения обрабатываются как матрица и объединяются в тензор.[10]

Алгоритмы

Многолинейный анализ главных компонент

Исторически, полилинейный анализ главных компонент был назван «M-mode PCA» - терминология, которую ввел Петер Круненберг.[11] В 2005 году Василеску и Терзопулос представила Multilinear PCA[12] терминология как способ лучше различать полилинейные тензорные разложения, которые вычисляли статистику 2-го порядка, связанную с каждой модой (осью) тензора данных,[1][2][3][13][8]и последующая работа над мультилинейным анализом независимых компонентов[12] который вычисляет статистику более высокого порядка, связанную с каждой тензорной модой / осью. MPCA является продолжением PCA.

Многолинейный независимый компонентный анализ

Многолинейный независимый компонентный анализ[12] является продолжением ICA.

Полилинейный линейный дискриминантный анализ

  • Полилинейное продолжение LDA
    • На основе TTP: дискриминантный анализ с тензорным представлением (DATER)[9]
    • На основе TTP: общий тензорный дискриминантный анализ (GTDA)[14]
    • На основе TVP: некоррелированный полилинейный дискриминантный анализ (UMLDA)[15]

Многолинейный канонический корреляционный анализ

  • Полилинейное продолжение CCA
    • На основе TTP: тензорный канонический корреляционный анализ (TCCA)[16]
    • На основе TVP: мультилинейный канонический корреляционный анализ (MCCA)[17]
    • На основе TVP: байесовский полилинейный канонический корреляционный анализ (BMTF)[18]
  • TTP - это прямая проекция тензора большой размерности на тензор низкой размерности того же порядка с использованием N проекционные матрицы для Nтензор-го порядка. Это может быть выполнено в N шаги с каждым шагом, выполняющим умножение тензорной матрицы (произведение). В N ступени взаимозаменяемы.[19] Эта проекция является продолжением разложение по сингулярным числам высшего порядка[19] (HOSVD) в подпространственное обучение.[8] Следовательно, его происхождение восходит к Разложение Таккера[20] в 1960-е гг.
  • TVP - это прямая проекция тензора большой размерности на вектор низкой размерности, который также называется проекциями первого ранга. Поскольку TVP проецирует тензор на вектор, его можно рассматривать как множественные проекции от тензора к скаляру. Таким образом, TVP тензора к п-мерный вектор состоит из п проекции из тензора на скаляр. Проекция тензора на скаляр - это элементарная полилинейная проекция (ЭМП). В EMP тензор проецируется в точку через N единичные проекционные векторы. Это проекция тензора на одну строку (в результате получается скаляр) с одним вектором проекции в каждой моде. Таким образом, TVP тензорного объекта к вектору в п-мерное векторное пространство состоит из п ЭМИ. Эта проекция является продолжением каноническое разложение,[21] также известный как параллельные факторы (ПАРАФАК) разложение.[22]

Типичный подход в MSL

Есть N наборы решаемых параметров, по одному в каждом режиме. Решение одного набора часто зависит от других наборов (кроме случаев, когда N = 1, линейный случай). Следовательно, субоптимальная итерационная процедура в[23] следует.

  1. Инициализация проекций в каждом режиме
  2. Для каждого режима фиксация проекции во всех остальных режимах и решение для проекции в текущем режиме.
  3. Сделайте оптимизацию по режимам для нескольких итераций или до сходимости.

Это происходит из метода альтернативных наименьших квадратов для многостороннего анализа данных.[11]

За и против

На этом рисунке сравнивается количество параметров, оцениваемых для одного и того же количества уменьшение размеров проекцией вектор-вектор (VVP), (т.е. линейной проекцией) проекцией тензор-вектор (TVP) и проекцией тензор-тензор (TTP). Для полилинейных проекций требуется гораздо меньше параметров, а полученные представления более компактны. (Этот показатель основан на Таблице 3 обзора[6])

Преимущества MSL по сравнению с традиционным моделированием линейных подпространств в общих областях, где представление, естественно, несколько тензорно:[6][7][8][9]

  • MSL сохраняет структуру и корреляцию, которые были у исходных данных до проекции, работая с естественным тензорным представлением многомерных данных.
  • MSL может изучать более компактные представления, чем его линейный аналог; Другими словами, необходимо оценить гораздо меньшее количество параметров. Таким образом, MSL может более эффективно обрабатывать большие тензорные данные, выполняя вычисления для представления с гораздо меньшими измерениями. Это приводит к снижению потребности в вычислительных ресурсах.

Однако алгоритмы MSL являются итеративными и не гарантируют сходимость; там, где алгоритм MSL действительно сходится, он может сделать это в локальный оптимум. (Напротив, традиционные методы линейного моделирования подпространств часто дают точное решение в замкнутой форме.) Проблемы сходимости MSL часто можно смягчить путем выбора подходящей размерности подпространства и соответствующих стратегий для инициализации, завершения и выбора порядка, в котором прогнозы решены.[6][7][8][9]

Педагогические ресурсы

Код

Наборы тензорных данных

Смотрите также

Рекомендации

  1. ^ а б c d е М. А. О. Василеску, Д. Терзопулос (2003) «Мультилинейный подпространственный анализ ансамблей изображений», "Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR’03), Мэдисон, Висконсин, июнь 2003 г."
  2. ^ а б М. А. О. Василеску, Д. Терзопулос (2002) «Полилинейный анализ ансамблей изображений: TensorFaces», Proc. 7-я Европейская конференция по компьютерному зрению (ECCV'02), Копенгаген, Дания, май 2002 г.
  3. ^ а б М.А.О. Василеску, (2002) «Сигнатуры движения человека: анализ, синтез, распознавание», «Труды Международной конференции по распознаванию образов (ICPR 2002), том 3, Квебек, Канада, август 2002 г., стр. 456–460».
  4. ^ а б Василеску, M.A.O .; Терзопулос, Д. (2007). Мультилинейная проекция для распознавания по внешнему виду в тензорной структуре. IEEE 11-е Международная конференция по компьютерному зрению. С. 1–8. Дои:10.1109 / ICCV.2007.4409067..
  5. ^ Лу, Хайпин; Plataniotis, K.N .; Венецанопулос, А. (2013). Мультилинейное подпространственное обучение: уменьшение размерности многомерных данных. Серия Chapman & Hall / CRC Press Машинное обучение и распознавание образов. Тейлор и Фрэнсис. ISBN  978-1-4398572-4-3.
  6. ^ а б c d е ж Лу, Хайпин; Plataniotis, K.N .; Венецанопулос, А. (2011). "Обзор мультилинейного обучения подпространству тензорных данных" (PDF). Распознавание образов. 44 (7): 1540–1551. Дои:10.1016 / j.patcog.2011.01.004.
  7. ^ а б c d X. He, D. Cai, P. Niyogi, Тензорный анализ подпространств, в: Достижения в области нейронных систем обработки информации 18 (НИПС), 2005.
  8. ^ а б c d е Х. Лу, К. Н. Платаниотис и А. Н. Венетсанопулос "MPCA: мультилинейный анализ главных компонент тензорных объектов, "IEEE Trans. Neural Netw., Том 19, № 1, стр. 18–39, январь 2008 г."
  9. ^ а б c d С. Янь, Д. Сюй, К. Янг, Л. Чжан, Х. Тан, Х.-Ж. Чжан "Дискриминантный анализ с тензорным представлением, "в Proc. Конференция IEEE по компьютерному зрению и распознаванию образов, т. I, июнь 2005 г., стр. 526–532.
  10. ^ «Будущие направления тензорных вычислений и моделирования» (PDF). Май 2009 г.
  11. ^ а б П. М. Крооненберг и Дж. Де Леу, Анализ главных компонент трехрежимных данных с помощью алгоритмов альтернативных наименьших квадратов, Психометрика, 45 (1980), стр. 69–97.
  12. ^ а б c М. А. О. Василеску, Д. Терзопулос (2005) «Мультилинейный независимый компонентный анализ», "Труды конференции IEEE по компьютерному зрению и распознаванию образов (CVPR’05), Сан-Диего, Калифорния, июнь 2005 г., том 1, 547–553".
  13. ^ M.A.O. Василеску, Д. Терзопулос (2004) "TensorTexture: мультилинейная визуализация на основе изображений", M. A. O. Vasilescu и D. Terzopoulos, Proc. ACM SIGGRAPH 2004 Conference Los Angeles, CA, август 2004 г., in Computer Graphics Proceedings, Annual Conference Series, 2004, 336–342.
  14. ^ Д. Тао, Х. Ли, Х. Ву и С. Дж. Мэйбанк "Общий тензорный дискриминантный анализ и особенности габора для распознавания походки, "IEEE Trans. Pattern Anal. Mach. Intell., Том 29, № 10, стр. 1700–1715, октябрь 2007.
  15. ^ Х. Лу, К. Н. Платаниотис и А. Н. Венетсанопулос "Некоррелированный полилинейный дискриминантный анализ с регуляризацией и агрегацией для распознавания тензорных объектов, "IEEE Trans. Neural Netw., Том 20, № 1, стр. 103–123, январь 2009 г."
  16. ^ Т.-К. Ким и Р. Чиполла. "Канонический корреляционный анализ тензоров объема видео для категоризации и обнаружения действий, "IEEE Trans. Pattern Anal. Mach. Intell., Том 31, № 8, стр. 1415–1428, 2009.
  17. ^ Х. Лу "Изучение канонических корреляций парных тензорных множеств с помощью тензорно-векторной проекции, "Труды 23-й Международной совместной конференции по искусственному интеллекту (IJCAI 2013), Пекин, Китай, 3–9 августа 2013 г."
  18. ^ Хан, Сулейман А .; Каски, Самуэль (2014-09-15). Колдерс, Мульт; Эспозито, Флориана; Hüllermeier, Eyke; Мео, Роза (ред.). Машинное обучение и обнаружение знаний в базах данных. Конспект лекций по информатике. Springer Berlin Heidelberg. С. 656–671. Дои:10.1007/978-3-662-44848-9_42. ISBN  9783662448472.
  19. ^ а б Л.Д. Lathauwer, B.D. Мур, Дж. Вандевалле, Полилинейное разложение по сингулярным числам, SIAM Журнал матричного анализа и приложений, том. 21, нет. 4. С. 1253–1278, 2000.
  20. ^ Ледьярд Такер (Сентябрь 1966 г.). «Некоторые математические заметки по трехрежимному факторному анализу». Психометрика. 31 (3): 279–311. Дои:10.1007 / BF02289464. PMID  5221127.
  21. ^ Дж. Д. Кэрролл и Дж. Чанг (1970). "Анализ индивидуальных различий в многомерном масштабировании с помощью п-характерное обобщение разложения Эккарта – Юнга ». Психометрика. 35 (3): 283–319. Дои:10.1007 / BF02310791.
  22. ^ Р. А. Харшман, Основы процедуры PARAFAC: модели и условия «пояснительного» многомодального факторного анализа В архиве 2004-10-10 на Wayback Machine. Рабочие документы UCLA по фонетике, 16, стр. 1–84, 1970.
  23. ^ Л. Д. Латхауэр, Б. Д. Мур, Дж. Вандевалле, О наилучшем приближении ранга 1 и ранга (R1, R2, ..., RN) тензоров высших порядков, SIAM Журнал матричного анализа и приложений 21 (4) (2000) 1324–1342.