Факторизация матрицы (рекомендательные системы) - Matrix factorization (recommender systems)

О разложении матриц, изученном в линейной алгебре, см. Разложение матрицы.

Факторизация матрицы это класс совместная фильтрация алгоритмы, используемые в рекомендательные системы. Алгоритмы матричной факторизации работают путем декомпозиции взаимодействия пользователя с элементом матрица в произведение двух прямоугольных матриц меньшей размерности.^[1] Это семейство методов стало широко известно в Приз Netflix проблема из-за его эффективности, как сообщил Саймон Фанк в своем сообщении в блоге 2006 года,^[2] где он поделился своими открытиями с исследовательским сообществом. Результаты прогнозирования можно улучшить, присвоив скрытым факторам различные веса регуляризации, исходя из популярности элементов и активности пользователей.^[3]

Методы

Идея матричной факторизации состоит в том, чтобы представить пользователей и элементы в скрытом пространстве меньшей размерности. С момента первоначальной работы Функ в 2006 году было предложено множество подходов к матричной факторизации для рекомендательных систем. Некоторые из наиболее часто используемых и простых из них перечислены в следующих разделах.

Фанк МФ

Оригинальный алгоритм, предложенный Саймоном Функом в его сообщении в блоге ^[2] Факторизовал матрицу рейтингов «пользователь-элемент» как произведение двух матриц меньшего размера, первая из которых имеет строку для каждого пользователя, а вторая - столбец для каждого элемента. Строка или столбец, связанный с конкретным пользователем или элементом, называется скрытые факторы.^[4] Отметим, что в Funk MF нет разложение по сингулярным числам применяется, это SVD-подобная модель машинного обучения.^[2]Прогнозируемые рейтинги можно рассчитать как ${\displaystyle {\tilde {R}}=HW}$, куда ${\displaystyle {\tilde {R}}\in \mathbb {R} ^{users\times items}}$ матрица рейтинга пользовательских элементов, ${\displaystyle H\in \mathbb {R} ^{users\times latentfactors}}$ содержит скрытые факторы пользователя и ${\displaystyle W\in \mathbb {R} ^{latentfactors\times items}}$ скрытые факторы предмета.

В частности, прогнозируемый рейтинг пользователя ты даст товар я вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\sum _{f=0}^{nfactors}H_{u,f}W_{f,i}}$

Настроить выразительную силу модели можно, изменив количество скрытых факторов. Было продемонстрировано ^[5] что матричная факторизация с одним скрытым фактором эквивалентна самый популярный или же самый популярный рекомендатель (например, рекомендует элементы с наибольшим взаимодействием без какой-либо персонализации). Увеличение количества скрытых факторов улучшит персонализацию и, следовательно, качество рекомендаций до тех пор, пока количество факторов не станет слишком большим, после чего модель начнет переобучать и качество рекомендаций снизится. Обычная стратегия избежать переобучения - добавить регуляризация члены целевой функции.^[6][7]Funk MF разрабатывался как прогноз рейтинга проблема, поэтому он использует явные числовые рейтинги для взаимодействия пользователя с элементом.

Учитывая все обстоятельства, Funk MF минимизирует следующую целевую функцию:

${\displaystyle {\underset {H,W}{\operatorname {arg\,min} }}\,\|R-{\tilde {R}}\|_{\rm {F}}+\alpha \|H\|+\beta \|W\|}$

Где ${\displaystyle \|.\|_{\rm {F}}}$ определяется как норма Фробениуса тогда как другие нормы могут быть либо фробениусом, либо другой нормой в зависимости от конкретной рекомендующей проблемы.^[8]

СВД ++

Хотя Funk MF может обеспечивать очень хорошее качество рекомендаций, его способность использовать только явные числовые рейтинги в качестве взаимодействий между пользователями и элементами представляет собой ограничение. Современный день рекомендательные системы должны использовать все доступные взаимодействия, как явные (например, числовые рейтинги), так и неявные (например, лайки, покупки, пропущенные, добавленные в закладки). С этой целью SVD ++ также был разработан с учетом неявных взаимодействий.^[9][10]По сравнению с Funk MF, SVD ++ также учитывает предвзятость пользователя и элемента.

Прогнозируемый рейтинг пользователя ты даст товар я вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}H_{u,f}W_{f,i}}$

Однако SVD ++ имеет некоторые недостатки, главный недостаток заключается в том, что этот метод не на основе модели. Это означает, что при добавлении нового пользователя алгоритм не сможет моделировать его, если не будет переобучена вся модель. Несмотря на то, что система, возможно, собрала некоторые взаимодействия для этого нового пользователя, ее скрытые факторы недоступны, и поэтому рекомендации не могут быть рассчитаны. Это пример холодный запуск Проблема заключается в том, что рекомендатель не может эффективно справляться с новыми пользователями или предметами, и для устранения этого недостатка необходимо разработать специальные стратегии.^[11]

Возможный способ решить эту проблему холодного запуска - изменить SVD ++, чтобы он стал модельный алгоритм, что позволяет легко управлять новыми элементами и новыми пользователями.

Как упоминалось ранее в SVD ++, у нас нет скрытых факторов новых пользователей, поэтому необходимо представлять их по-другому. Скрытые факторы пользователя представляют собой предпочтение этого пользователя в отношении латентных факторов соответствующего элемента, поэтому латентные факторы пользователя могут быть оценены с помощью прошлых взаимодействий с пользователем. Если система способна собрать данные о некоторых взаимодействиях для нового пользователя, можно оценить его скрытые факторы. Обратите внимание, что это не полностью решает проблему. холодный запуск проблема, так как рекомендатель по-прежнему требует некоторых надежных взаимодействий для новых пользователей, но, по крайней мере, нет необходимости каждый раз пересчитывать всю модель. Было продемонстрировано, что эта формулировка почти эквивалентна модели SLIM,^[12] который является предмет-предмет Рекомендация на основе модели.

${\displaystyle {\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}{\biggl (}\sum _{j=0}^{nitems}r_{uj}W_{j,f}{\biggr )}W_{f,i}}$

В этой формулировке эквивалент рекомендатель предметов было бы ${\displaystyle {\tilde {R}}=RS=RW^{\rm {T}}W}$. Следовательно, матрица подобия симметрична.

Асимметричный СВД

Асимметричный SVD направлен на объединение преимуществ SVD ++, будучи алгоритмом, основанным на модели, что позволяет рассматривать новых пользователей с несколькими рейтингами без необходимости переобучать всю модель. В отличие от SVD на основе модели здесь матрица скрытых факторов пользователя H заменена на Q, которая изучает предпочтения пользователя в зависимости от их оценок.^[13]

Прогнозируемый рейтинг пользователя ты даст товар я вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}\sum _{j=0}^{nitems}r_{uj}Q_{j,f}W_{f,i}}$

В этой формулировке эквивалент рекомендатель предметов было бы ${\displaystyle {\tilde {R}}=RS=RQ^{\rm {T}}W}$. Поскольку матрицы Q и W различны, матрица подобия асимметрична, отсюда и название модели.

Групповой СВД

Групповая SVD может быть эффективным подходом для холодный запуск проблема во многих сценариях.^[6] Он группирует пользователей и элементы на основе информации о зависимости и сходства характеристик. Затем, когда появляется новый пользователь или элемент, мы можем присвоить ему метку группы и аппроксимировать его латентный фактор групповыми эффектами (соответствующей группы). Следовательно, хотя рейтинги, связанные с новым пользователем или элементом, не обязательно доступны, групповые эффекты обеспечивают немедленные и эффективные прогнозы.

Прогнозируемый рейтинг пользователя ты даст товар я вычисляется как:

${\displaystyle {\tilde {r}}_{ui}=\sum _{f=0}^{nfactors}(H_{u,f}+S_{v_{u},f})(W_{f,i}+T_{f,j_{i}})}$

Здесь ${\displaystyle v_{u}}$ и ${\displaystyle j_{i}}$ представляют собой групповой ярлык пользователя ты и предмет ясоответственно, которые идентичны для всех членов одной группы. И ${\displaystyle S}$ и ${\displaystyle T}$ - матрицы групповых эффектов. Например, для нового пользователя ${\displaystyle u_{new}}$ чей скрытый фактор ${\displaystyle H_{u_{new}}}$ недоступен, мы можем по крайней мере определить их групповой ярлык ${\displaystyle v_{u_{new}}}$, и прогнозируют их рейтинги как:

${\displaystyle {\tilde {r}}_{u_{new}i}=\sum _{f=0}^{nfactors}S_{v_{u_{new}},f}(W_{f,i}+T_{f,j_{i}})}$

Это дает хорошее приближение к ненаблюдаемым рейтингам.

Гибридный MF

В последние годы было разработано множество других моделей матричной факторизации для использования постоянно увеличивающегося количества и разнообразия доступных данных о взаимодействии и сценариев использования. Алгоритмы гибридной матричной факторизации могут объединять явные и неявные взаимодействия. ^[14] или как контент, так и совместные данные ^[15][16][17]

Глубокое обучение MF

В последние годы был предложен ряд нейронных методов и методов глубокого обучения, некоторые из которых обобщают традиционные Факторизация матрицы алгоритмы с помощью нелинейной нейронной архитектуры.^[18]Хотя глубокое обучение применялось во многих различных сценариях: с учетом контекста, с учетом последовательности, социальных тегов и т. Д., Его реальная эффективность при использовании в простых Совместная фильтрация сценарий был поставлен под сомнение. Систематический анализ публикаций, применяющих глубокое обучение или нейронные методы для решения топ-k проблем рекомендаций, опубликованных на ведущих конференциях (SIGIR, KDD, WWW, RecSys), показал, что в среднем менее 40% статей воспроизводимы при минимальном как 14% на некоторых конференциях. В целом исследование выявило 18 статей, только 7 из них могли быть воспроизведены, а 6 из них могли быть лучше, чем гораздо более старые и простые, правильно настроенные исходные данные. В статье также освещается ряд потенциальных проблем в современной исследовательской науке и содержится призыв к совершенствованию научной практики в этой области.^[19] Подобные проблемы были обнаружены также в рекомендательных системах, учитывающих последовательность.^[20]

Смотрите также

• Совместная фильтрация
• Рекомендательная система

Рекомендации

1. Корен, Иегуда; Белл, Роберт; Волинский, Крис (август 2009 г.). "Методы матричной факторизации рекомендательных систем". Компьютер. 42 (8): 30–37. CiteSeerX  10.1.1.147.8295. Дои:10.1109 / MC.2009.263. S2CID  58370896.
2. Функ, Саймон. «Обновление Netflix: попробуйте дома».
3. ЧенХунг-Сюань; ChenPu (09.01.2019). «Дифференциация весов регуляризации - простой механизм для облегчения холодного старта в рекомендательных системах». Транзакции ACM при обнаружении знаний из данных (TKDD). 13: 1–22. Дои:10.1145/3285954. S2CID  59337456.
4. Агарвал, Дипак; Чен, Би-Чунг (28 июня 2009 г.). «Модели скрытых факторов, основанные на регрессии». Материалы 15-й международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных - KDD '09. ACM. С. 19–28. Дои:10.1145/1557019.1557029. ISBN  9781605584959. S2CID  17484284.
5. Яннах, Дитмар; Лерче, Лукас; Гедикли, Фатих; Боннин, Джеффрей (2013). Что рекомендуют рекомендатели - анализ влияния на точность, популярность и разнообразие продаж. Пользовательское моделирование, адаптация и персонализация. Конспект лекций по информатике. 7899. Springer Berlin Heidelberg. С. 25–37. CiteSeerX  10.1.1.465.96. Дои:10.1007/978-3-642-38844-6_3. ISBN  978-3-642-38843-9.
6. Би, Сюань; Ку, Энни; Ван, Цзюньхуэй; Шен, Сяотун (2017). "Групповая рекомендательная система". Журнал Американской статистической ассоциации. 112 (519): 1344–1353. Дои:10.1080/01621459.2016.1219261. S2CID  125187672.
7. Чжу, Юньчжан; Шэнь, Сяотун; Е, Чанцин (2016). «Персонализированное прогнозирование и поиск разреженности в моделях латентных факторов». Журнал Американской статистической ассоциации. 111 (513): 241–252. Дои:10.1080/01621459.2016.1219261. S2CID  125187672.
8. Патерек, Аркадиуш (2007). «Улучшение регуляризованного разложения по сингулярным значениям для совместной фильтрации» (PDF). Материалы Кубка и Мастерской KDD.
9. Цао, Цзянь; Ху, Хэнкуй; Луо, Тианян; Ван, Цзя; Хуанг, май; Ван, Карл; Ву, Чжунхай; Чжан, Син (2015). Распределенный дизайн и реализация алгоритма SVD ++ для персонализированной рекомендательной системы электронной коммерции. Коммуникации в компьютерных и информационных науках. 572. Springer Singapore. С. 30–44. Дои:10.1007/978-981-10-0421-6_4. ISBN  978-981-10-0420-9.
10. Цзя, Яньчэн (сентябрь 2014 г.). «Предпочтение брендов пользователей на основе SVD ++ в рекомендательных системах». 2014 IEEE Workshop on Advanced Research and Technology in Industry Applications (WARTIA). IEEE. С. 1175–1178. Дои:10.1109 / wartia.2014.6976489. ISBN  978-1-4799-6989-0. S2CID  742206. Отсутствует или пусто | название = (помощь)
11. Клювер, Даниэль; Констан, Джозеф А. (6 октября 2014 г.). «Оценка рекомендательного поведения для новых пользователей». Материалы 8-й конференции ACM по рекомендательным системам - Рек. Sys '14. ACM. С. 121–128. Дои:10.1145/2645710.2645742. ISBN  9781450326681. S2CID  18509558.
12. Чжэн, Юн; Мобашер, Бамшад; Берк, Робин (6 октября 2014 г.). «ЦСЛИМ». CSLIM: контекстные алгоритмы рекомендаций SLIM. ACM. С. 301–304. Дои:10.1145/2645710.2645756. ISBN  9781450326681. S2CID  15931532.
13. Пу, Ли; Фальтингс, Бой (12 октября 2013 г.). «Понимание и улучшение реляционной матричной факторизации в рекомендательных системах». Материалы 7-й конференции ACM по рекомендательным системам - Рек. Sys '13. ACM. С. 41–48. Дои:10.1145/2507157.2507178. ISBN  9781450324090. S2CID  14106198.
14. Чжао, Чанвэй; Сунь, Сухуань; Хань, Линьцянь; Пэн, Цинке (2016). «Гибридная матричная факторизация для рекомендательных систем в социальных сетях». Мир нейронных сетей. 26 (6): 559–569. Дои:10.14311 / NNW.2016.26.032.
15. Чжоу, Тинхуэй; Шан, ханьхуай; Банерджи, Ариндам; Сапиро, Гильермо (26 апреля 2012 г.). Ядровая вероятностная матричная факторизация: использование графиков и дополнительной информации. Материалы Международной конференции SIAM 2012 по интеллектуальному анализу данных. Общество промышленной и прикладной математики. С. 403–414. Дои:10.1137/1.9781611972825.35. ISBN  978-1-61197-232-0.
16. Адамс, Райан Прескотт; Даль, Джордж Э .; Мюррей, Иэн (25 марта 2010 г.). "Включение дополнительной информации в вероятностную матричную факторизацию с гауссовскими процессами 1003.4944". arXiv:1003.4944 [stat.ML ].
17. Фанг, Йи; Си, Луо (27 октября 2011 г.). «Матричная кофакторизация для рекомендаций с богатой дополнительной информацией и неявной обратной связью». Труды 2-го международного семинара по неоднородности информации и слиянию в рекомендательных системах - Het Rec '11. ACM. С. 65–69. Дои:10.1145/2039320.2039330. ISBN  9781450310277. S2CID  13850687.
18. Он, Сяннань; Ляо, Лизи; Чжан, Ханван; Не, Лицян; Ху, Ся; Чуа, Тат-Сенг (2017). «Совместная нейронная фильтрация». Материалы 26-й Международной конференции по всемирной паутине. Руководящий комитет международных конференций в Интернете: 173–182. arXiv:1708.05031. Дои:10.1145/3038912.3052569. ISBN  9781450349130. S2CID  13907106. Получено 16 октября 2019.
19. Феррари Дакрема, Маурицио; Кремонези, Паоло; Яннах, Дитмар (2019). «Действительно ли мы делаем большой прогресс? Тревожный анализ недавних подходов к нейронным рекомендациям». Материалы 13-й конференции ACM по рекомендательным системам. ACM: 101–109. arXiv:1907.06902. Дои:10.1145/3298689.3347058. HDL:11311/1108996. ISBN  9781450362436. S2CID  196831663. Получено 16 октября 2019.
20. Людвиг, Мальте; Мауро, Ноэми; Латифи, Сара; Яннах, Дитмар (2019). «Сравнение производительности нейронного и ненейронного подходов к рекомендации на основе сеанса». Материалы 13-й конференции ACM по рекомендательным системам. ACM: 462–466. Дои:10.1145/3298689.3347041. ISBN  9781450362436. Получено 16 октября 2019.