Тензорный эскиз - Tensor sketch

В статистика, машинное обучение и алгоритмы, а тензорный эскиз это тип уменьшение размерности это особенно эффективно при применении векторов который имеет тензор структура.^[1][2] Такой скетч можно использовать для ускорения явного методы ядра, билинейный объединение в нейронные сети и является краеугольным камнем многих алгоритмов численной линейной алгебры.^[3]

Математическое определение

Математически уменьшение размерности - это матрица ${\displaystyle M\in \mathbb {R} ^{k,d}}$, куда ${\displaystyle k<d}$, такое, что для любого вектора ${\displaystyle x\in \mathbb {R} ^{d}}$ он считает, что

${\displaystyle |\|Mx\|_{2}-\|x\|_{2}|<\varepsilon \|x\|_{2}}$

с большой вероятностью, другими словами ${\displaystyle M}$ сохраняет норму векторов с точностью до небольшой ошибки.

Тензорный скетч имеет дополнительное свойство: если ${\displaystyle x=y\otimes z}$ для некоторых векторов ${\displaystyle y\in \mathbb {R} ^{d_{1}},z\in \mathbb {R} ^{d_{2}}}$ такой, что ${\displaystyle d_{1}d_{2}=d}$, преобразование ${\displaystyle M(y\otimes z)}$ могут быть вычислены более эффективно.

Обычно ${\displaystyle M(y\otimes z)=M'y\circ M''z}$, куда ${\displaystyle \circ }$ это (Адамар ) поэлементное произведение. ${\displaystyle M'y}$ и ${\displaystyle M''z}$ могут быть вычислены во времени соответственно ${\displaystyle kd_{1}}$ и ${\displaystyle kd_{2}}$, вычисление происходит намного быстрее, чем полное ${\displaystyle M(y\otimes z)}$ что потребует времени ${\displaystyle kd=kd_{1}d_{2}}$.

Для тензоров более высокого порядка, таких как ${\displaystyle x=y\otimes z\otimes t}$ экономия еще более впечатляющая.

История

Термин тензорный эскиз был введен в обращение в 2013 году.^[4] описание техники Расмус Паг^[5] того же года. Первоначально это понималось с помощью быстрое преобразование Фурье делать быстро свертка из считать эскизы Более поздние исследования обобщили его на гораздо более широкий класс уменьшения размерности с помощью тензорных случайных вложений.

Тензорные случайные вложения были представлены в 2010 году в статье^[6] о дифференциальной конфиденциальности и впервые были проанализированы Rudelson et al. в 2012 г. в условиях разреженного восстановления.^[7]

Avron et al.^[8]были первыми, кто изучил вложение подпространств свойства тензорных эскизов, особенно ориентированные на приложения для полиномиальные ядра В этом контексте эскиз требуется не только для сохранения нормы каждого отдельного вектора с определенной вероятностью, но и для сохранения нормы всех векторов в каждом отдельном линейное подпространство Это гораздо более сильное свойство, и оно требует больших размеров эскиза, но позволяет очень широко использовать методы ядра, как описано в книге Дэвида Вудраффа.^[3]

Тензорные случайные проекции

В продукт, расщепляющий лицо определяется как тензорное произведение строк (было предложено В. Слюсарь^[9] в 1996 г.^{[10][11][12][13][14]} за радар и цифровая антенная решетка приложения) .Подробнее, пусть ${\displaystyle \mathbf {C} \in \mathbb {R} ^{3\times 3}}$ и ${\displaystyle \mathbf {D} \in \mathbb {R} ^{3\times 3}}$ - две матрицы. продукт, расщепляющий лицо ${\displaystyle \mathbf {C} \bullet \mathbf {D} }$ является^{[10][11][12][13]}${\displaystyle \mathbf {C} \bullet \mathbf {D} =\left[{\begin{array}{c }\mathbf {C} _{1}\otimes \mathbf {D} _{1}\\\hline \mathbf {C} _{2}\otimes \mathbf {D} _{2}\\\hline \mathbf {C} _{3}\otimes \mathbf {D} _{3}\\\end{array}}\right]=\left[{\begin{array}{c c c c c c c c c }\mathbf {C} _{1,1}\mathbf {D} _{1,1}&\mathbf {C} _{1,1}\mathbf {D} _{1,2}&\mathbf {C} _{1,1}\mathbf {D} _{1,3}&\mathbf {C} _{1,2}\mathbf {D} _{1,1}&\mathbf {C} _{1,2}\mathbf {D} _{1,2}&\mathbf {C} _{1,2}\mathbf {D} _{1,3}&\mathbf {C} _{1,3}\mathbf {D} _{1,1}&\mathbf {C} _{1,3}\mathbf {D} _{1,2}&\mathbf {C} _{1,3}\mathbf {D} _{1,3}\\\hline \mathbf {C} _{2,1}\mathbf {D} _{2,1}&\mathbf {C} _{2,1}\mathbf {D} _{2,2}&\mathbf {C} _{2,1}\mathbf {D} _{2,3}&\mathbf {C} _{2,2}\mathbf {D} _{2,1}&\mathbf {C} _{2,2}\mathbf {D} _{2,2}&\mathbf {C} _{2,2}\mathbf {D} _{2,3}&\mathbf {C} _{2,3}\mathbf {D} _{2,1}&\mathbf {C} _{2,3}\mathbf {D} _{2,2}&\mathbf {C} _{2,3}\mathbf {D} _{2,3}\\\hline \mathbf {C} _{3,1}\mathbf {D} _{3,1}&\mathbf {C} _{3,1}\mathbf {D} _{3,2}&\mathbf {C} _{3,1}\mathbf {D} _{3,3}&\mathbf {C} _{3,2}\mathbf {D} _{3,1}&\mathbf {C} _{3,2}\mathbf {D} _{3,2}&\mathbf {C} _{3,2}\mathbf {D} _{3,3}&\mathbf {C} _{3,3}\mathbf {D} _{3,1}&\mathbf {C} _{3,3}\mathbf {D} _{3,2}&\mathbf {C} _{3,3}\mathbf {D} _{3,3}\end{array}}\right].}$Причина, по которой этот продукт полезен, заключается в следующем:

${\displaystyle (\mathbf {C} \bullet \mathbf {D} )(x\otimes y)=\mathbf {C} x\circ \mathbf {D} y=\left[{\begin{array}{c }(\mathbf {C} x)_{1}(\mathbf {D} y)_{1}\\(\mathbf {C} x)_{2}(\mathbf {D} y)_{2}\\\vdots \end{array}}\right],}$

куда ${\displaystyle \circ }$ поэлементно (Адамар ), поскольку эту операцию можно вычислить за линейное время, ${\displaystyle \mathbf {C} \bullet \mathbf {D} }$ могут быть умножены на векторы с тензорной структурой намного быстрее, чем нормальные матрицы.

Построение с быстрым преобразованием Фурье

Тензорный набросок Фама и Пага^[4] вычисляет${\displaystyle C^{(1)}x\ast C^{(2)}y}$, куда ${\displaystyle C^{(1)}}$ и ${\displaystyle C^{(2)}}$ независимы считать эскиз матрицы и ${\displaystyle \ast }$ вектор свертка Они показывают, что, что удивительно, это равно ${\displaystyle C(x\otimes y)}$ - счетный эскиз тензорного произведения!

Оказывается, эту связь можно увидеть с точки зрения продукт, расщепляющий лицо в качестве

${\displaystyle C^{(1)}x\ast C^{(2)}y={\mathcal {F}}^{-1}({\mathcal {F}}C^{(1)}x\circ {\mathcal {F}}C^{(2)}y)}$, куда ${\displaystyle {\mathcal {F}}}$ это Матрица преобразования Фурье.

С ${\displaystyle {\mathcal {F}}}$ является ортонормированный матрица ${\displaystyle {\mathcal {F}}^{-1}}$ не влияет на норму ${\displaystyle Cx}$ и может быть проигнорирован. ${\displaystyle C\sim {\mathcal {C}}^{(1)}\bullet {\mathcal {C}}^{(2)}}$.

С другой стороны,

${\displaystyle {\mathcal {F}}(C^{(1)}x\ast C^{(2)}y)={\mathcal {F}}C^{(1)}x\circ {\mathcal {F}}C^{(2)}y=({\mathcal {F}}C^{(1)}\bullet {\mathcal {F}}C^{(2)})(x\otimes y)}$.

Применение к общим матрицам

Проблема с исходным алгоритмом тензорного скетча заключалась в том, что он использовал считать эскиз матрицы, которые не всегда очень хорошо снижают размерность.

В 2020 году^[15] было показано, что для создания тензорного скетча достаточно любых матриц с достаточно случайными независимыми строками. Это позволяет использовать матрицы с более высокими гарантиями, такие как вещественные гауссовские Джонсон Линденштраус матрицы.

В частности, мы получаем следующую теорему

Рассмотрим матрицу ${\displaystyle T}$ с i.i.d. ряды ${\displaystyle T_{1},\dots ,T_{m}\in \mathbb {R} ^{d}}$, так что ${\displaystyle E[(T_{1}x)^{2}]=\|x\|_{2}^{2}}$ и ${\displaystyle E[(T_{1}x)^{p}]^{1/p}\leq {\sqrt {ap}}\|x\|_{2}}$. Позволять ${\displaystyle T^{(1)},\dots ,T^{(c)}}$ быть независимым, состоящим из ${\displaystyle T}$ и ${\displaystyle M=T^{(1)}\bullet \dots \bullet T^{(c)}}$.

потом ${\displaystyle |\|Mx\|_{2}-\|x\|_{2}|<\varepsilon \|x\|_{2}}$ с вероятностью ${\displaystyle 1-\delta }$ для любого вектора ${\displaystyle x}$ если

${\displaystyle m=(4a)^{2c}\varepsilon ^{-2}\log 1/\delta +(2ae)\varepsilon ^{-1}(\log 1/\delta )^{c}}$.

В частности, если записи ${\displaystyle T}$ находятся ${\displaystyle \pm 1}$ мы получили ${\displaystyle m=O(\varepsilon ^{-2}\log 1/\delta +\varepsilon ^{-1}({\tfrac {1}{c}}\log 1/\delta )^{c})}$ что соответствует нормальному Джонсон Линденштраус теорема ${\displaystyle m=O(\varepsilon ^{-2}\log 1/\delta )}$ когда ${\displaystyle \varepsilon }$ маленький.

Бумага^[15] также показывает, что зависимость от ${\displaystyle \varepsilon ^{-1}({\tfrac {1}{c}}\log 1/\delta )^{c}}$ необходимо для построений с использованием тензорных рандомизированных проекций с Гауссовский записи.

Вариации

Рекурсивная конструкция

Из-за экспоненциальной зависимости от ${\displaystyle c}$ в тензорных эскизах на основе продукт, расщепляющий лицо, в 2020 году был разработан иной подход^[15] который применяется

${\displaystyle M(x\otimes y\otimes \cdots )=M^{(1)}(x\otimes (M^{(2)}y\otimes \cdots ))}$

Мы можем добиться такого ${\displaystyle M}$ позволяя

${\displaystyle M=M^{(c)}(M^{(c-1)}\otimes I_{d})(M^{(c-2)}\otimes I_{d^{2}})\cdots (M^{(1)}\otimes I_{d^{c-1}})}$.

С помощью этого метода мы применяем только общий метод скетча тензора к тензорам 2-го порядка, что позволяет избежать экспоненциальной зависимости количества строк.

Это можно доказать^[15] это сочетание ${\displaystyle c}$ такое уменьшение размерности только увеличивает ${\displaystyle \varepsilon }$ фактором ${\displaystyle {\sqrt {c}}}$.

Быстрые конструкции

В быстрое преобразование Джонсона – Линденштрауса матрица уменьшения размерности

Учитывая матрицу ${\displaystyle M\in \mathbb {R} ^{k\times d}}$, вычисляя матричное векторное произведение ${\displaystyle Mx}$ берет ${\displaystyle kd}$ время. Быстрое преобразование Джонсона-Линденштрауса (FJLT),^[16] был представлен Эйлоном и Chazelle в 2006 году.

Версия этого метода требует${\displaystyle M=\operatorname {SHD} }$куда

1. ${\displaystyle D}$ это диагональная матрица где каждый диагональный вход ${\displaystyle D_{i,i}}$ является ${\displaystyle \pm 1}$ независимо.

Умножение матрицы на вектор ${\displaystyle Dx}$ можно вычислить в ${\displaystyle O(d)}$ время.

1. ${\displaystyle H}$ это Матрица Адамара, что позволяет производить умножение матрицы на вектор во времени ${\displaystyle O(d\log d)}$
2. ${\displaystyle S}$ это ${\displaystyle k\times d}$ матрица выборки что все нули, кроме одной единицы в каждой строке.

Если диагональную матрицу заменить матрицей, имеющей тензорное произведение ${\displaystyle \pm 1}$ значения на диагонали, вместо того, чтобы быть полностью независимыми, можно вычислить ${\displaystyle \operatorname {SHD} (x\otimes y)}$ быстрый.

Для примера пусть ${\displaystyle \rho ,\sigma \in \{-1,1\}^{2}}$ быть двумя независимыми ${\displaystyle \pm 1}$ векторы и пусть ${\displaystyle D}$ - диагональная матрица с ${\displaystyle \rho \otimes \sigma }$ по диагонали. Затем мы можем разделить ${\displaystyle \operatorname {SHD} (x\otimes y)}$ следующее:

${\displaystyle {\begin{aligned}&\operatorname {SHD} (x\otimes y)\\&\quad ={\begin{bmatrix}1&0&0&0\\0&0&1&0\\0&1&0&0\end{bmatrix}}{\begin{bmatrix}1&1&1&1\\1&-1&1&-1\\1&1&-1&-1\\1&-1&-1&1\end{bmatrix}}{\begin{bmatrix}\sigma _{1}\rho _{1}&0&0&0\\0&\sigma _{1}\rho _{2}&0&0\\0&0&\sigma _{2}\rho _{1}&0\\0&0&0&\sigma _{2}\rho _{2}\\\end{bmatrix}}{\begin{bmatrix}x_{1}y_{1}\\x_{2}y_{1}\\x_{1}y_{2}\\x_{2}y_{2}\end{bmatrix}}\\[5pt]&\quad =\left({\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}\bullet {\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}\right)\left({\begin{bmatrix}1&1\\1&-1\end{bmatrix}}\otimes {\begin{bmatrix}1&1\\1&-1\end{bmatrix}}\right)\left({\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}\otimes {\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}\right)\left({\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\otimes {\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}\right)\\[5pt]&\quad =\left({\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}\bullet {\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}\right)\left({\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\,\otimes \,{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}{\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}\right)\\[5pt]&\quad ={\begin{bmatrix}1&0\\0&1\\1&0\end{bmatrix}}{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\sigma _{1}&0\\0&\sigma _{2}\\\end{bmatrix}}{\begin{bmatrix}x_{1}\\x_{2}\end{bmatrix}}\,\circ \,{\begin{bmatrix}1&0\\1&0\\0&1\end{bmatrix}}{\begin{bmatrix}1&1\\1&-1\end{bmatrix}}{\begin{bmatrix}\rho _{1}&0\\0&\rho _{2}\\\end{bmatrix}}{\begin{bmatrix}y_{1}\\y_{2}\end{bmatrix}}.\end{aligned}}}$

Другими словами, ${\displaystyle \operatorname {SHD} =S^{(1)}HD^{(1)}\bullet S^{(2)}HD^{(2)}}$, разбивается на два быстрых преобразования Джонсона – Линденштраусса, и полное сокращение требует времени ${\displaystyle O(d_{1}\log d_{1}+d_{2}\log d_{2})}$ скорее, чем ${\displaystyle d_{1}d_{2}\log(d_{1}d_{2})}$ как при прямом подходе.

Тот же подход может быть расширен для вычисления продуктов более высокой степени, таких как ${\displaystyle \operatorname {SHD} (x\otimes y\otimes z)}$

Ahle et al.^[15] показывает, что если ${\displaystyle \operatorname {SHD} }$ имеет ${\displaystyle \varepsilon ^{-2}(\log 1/\delta )^{c+1}}$ ряды, затем ${\displaystyle |\|\operatorname {SHD} x\|_{2}-\|x\||\leq \varepsilon \|x\|_{2}}$ для любого вектора ${\displaystyle x\in \mathbb {R} ^{d^{c}}}$ с вероятностью ${\displaystyle 1-\delta }$, позволяя быстрое умножение со степенью ${\displaystyle c}$ тензоры.

Jin et al.^[17]в том же году показал аналогичный результат для более общего класса матриц вызова РВАТЬ, который включает субдискретизированные матрицы Адамара. Они показали, что эти матрицы допускают разбиение на тензоры при условии, что количество строк равно ${\displaystyle \varepsilon ^{-2}(\log 1/\delta )^{2c-1}\log d}$.В случае ${\displaystyle c=2}$ это соответствует предыдущему результату.

Эти быстрые конструкции можно снова комбинировать с упомянутым выше рекурсивным подходом, что дает самый быстрый общий тензорный эскиз.

Создание эскизов с учетом данных

Также возможно сделать так называемый тензорный набросок «с учетом данных». Вместо умножения случайной матрицы на данные точки данных выбираются независимо с определенной вероятностью, зависящей от нормы точки.^[18]

Приложения

Явные полиномиальные ядра

Методы ядра популярны в машинное обучение поскольку они дают разработанному алгоритму свободу создавать «пространство признаков», в котором можно измерить сходство их точек данных. Простой двоичный классификатор на основе ядра основан на следующих вычислениях:

${\displaystyle {\hat {y}}(\mathbf {x'} )=\operatorname {sgn} \sum _{i=1}^{n}y_{i}k(\mathbf {x} _{i},\mathbf {x'} ),}$

куда ${\displaystyle \mathbf {x} _{i}\in \mathbb {R} ^{d}}$ точки данных, ${\displaystyle y_{i}}$ это этикетка ${\displaystyle i}$-я точка (-1 или +1), и ${\displaystyle {\hat {y}}(\mathbf {x'} )}$ это предсказание класса ${\displaystyle \mathbf {x'} }$.Функция ${\displaystyle k:\mathbb {R} ^{d}\times \mathbb {R} ^{d}\to \mathbb {R} }$ является ядром. Типичными примерами являются ядро радиальной базисной функции, ${\displaystyle k(x,x')=\exp(-\|x-x'\|_{2}^{2})}$, и полиномиальные ядра Такие как ${\displaystyle k(x,x')=(1+\langle x,x'\rangle )^{2}}$.

При таком использовании метод ядра называется "неявным". Иногда быстрее использовать "явный" метод ядра, в котором пара функций ${\displaystyle f,g:\mathbb {R} ^{d}\to \mathbb {R} ^{D}}$ найдены, такие что ${\displaystyle k(x,x')=\langle f(x),g(x')\rangle }$Это позволяет выразить вышеприведенное вычисление как

${\displaystyle {\hat {y}}(\mathbf {x'} )=\operatorname {sgn} \sum _{i=1}^{n}y_{i}\langle f(\mathbf {x} _{i}),g(\mathbf {x'} )\rangle =\operatorname {sgn} \left\langle \left(\sum _{i=1}^{n}y_{i}f(\mathbf {x} _{i})\right),g(\mathbf {x'} )\right\rangle ,}$

где значение ${\displaystyle \sum _{i=1}^{n}y_{i}f(\mathbf {x} _{i})}$ можно рассчитать заранее.

Проблема с этим методом в том, что пространство функций может быть очень большим. То есть ${\displaystyle D>>d}$.Например, для полиномиального ядра ${\displaystyle k(x,x')=\langle x,x'\rangle ^{3}}$ мы получили ${\displaystyle f(x)=x\otimes x\otimes x}$ и ${\displaystyle g(x')=x'\otimes x'\otimes x'}$, куда ${\displaystyle \otimes }$ это тензорное произведение и ${\displaystyle f(x),g(x')\in \mathbb {R} ^{D}}$ куда ${\displaystyle D=d^{3}}$.Если ${\displaystyle d}$ уже большой, ${\displaystyle D}$ может быть намного больше, чем количество точек данных (${\displaystyle n}$), поэтому явный метод неэффективен.

Идея тензорного скетча состоит в том, что мы можем вычислять приближенные функции ${\displaystyle f',g':\mathbb {R} ^{d}\to \mathbb {R} ^{t}}$ куда ${\displaystyle t}$ может даже быть меньше чем ${\displaystyle d}$, и которые по-прежнему обладают свойством ${\displaystyle \langle f'(x),g'(x')\rangle \approx k(x,x')}$.

Этот метод был показан в 2020 году.^[15] работать даже с полиномами высокой степени и ядрами радиальных базисных функций.

Умножение сжатой матрицы

Предположим, у нас есть два больших набора данных, представленных в виде матриц ${\displaystyle X,Y\in \mathbb {R} ^{n\times d}}$, и мы хотим найти строки ${\displaystyle i,j}$ с самыми большими внутренними продуктами ${\displaystyle \langle X_{i},Y_{j}\rangle }$.Мы могли вычислить ${\displaystyle Z=XY^{T}\in \mathbb {R} ^{n\times n}}$ и просто посмотрите на все ${\displaystyle n^{2}}$ возможностей. Однако для этого потребуется не менее ${\displaystyle n^{2}}$ время и, вероятно, ближе к ${\displaystyle n^{2}d}$ используя стандартные методы матричного умножения.

Идея умножения сжатых матриц - это общее тождество

${\displaystyle XY^{T}=\sum _{i=1}^{d}X_{i}\otimes Y_{i}}$

куда ${\displaystyle \otimes }$ это тензорное произведение.Поскольку мы можем вычислить (линейный ) приближение к ${\displaystyle X_{i}\otimes Y_{i}}$ эффективно, мы можем суммировать их, чтобы получить приблизительное значение для всего продукта.

Компактный полилинейный пул

Тензорные наброски можно использовать для уменьшения количества переменных, необходимых при реализации билинейного объединения в нейронная сеть.

Билинейное объединение - это метод взятия двух входных векторов, ${\displaystyle x,y}$ из разных источников и используя тензорное произведение ${\displaystyle x\otimes y}$ в качестве входного слоя нейронной сети.

В^[19] авторы рассмотрели возможность использования тензорного скетча для уменьшения количества необходимых переменных.

В 2017 году еще одна статья^[20] выполняет БПФ входных функций перед их объединением с использованием поэлементного произведения. Это снова соответствует исходному тензорному эскизу.

Рекомендации

1. «Низкоранговое разложение Таккера больших тензоров с использованием: тензорного эскиза» (PDF). amath.colorado.edu. Боулдер, Колорадо: Университет Колорадо в Боулдере.
2. Ахле, Томас; Кнудсен, Якоб (2019-09-03). «Почти оптимальный тензорный набросок». Researchgate. Получено 2020-07-11.
3. Вудрафф, Дэвид П. «Создание эскизов как инструмент численной линейной алгебры». Теоретическая информатика 10.1-2 (2014): 1–157.
4. Нинь, Фам; Расмус, Паг (2013). Быстрые и масштабируемые полиномиальные ядра с помощью явных карт функций. Международная конференция SIGKDD по обнаружению знаний и интеллектуальному анализу данных. Ассоциация вычислительной техники. Дои:10.1145/2487575.2487591.
5. Расмус, Паг (2013). «Умножение сжатых матриц». Транзакции ACM по теории вычислений, август 2013 г. Номер статьи: 9. Ассоциация вычислительной техники. Дои:10.1145/2493252.2493254.
6. Kasiviswanathan, Шива Прасад и др. «Цена частного выпуска таблиц непредвиденных обстоятельств и спектров случайных матриц с коррелированными строками». Материалы сорок второго симпозиума ACM по теории вычислений. 2010 г.
7. Рудельсон, Марк и Шухэн Чжоу. «Реконструкция по анизотропным случайным измерениям». Конференция по теории обучения. 2012 г.
8. Аврон, Хаим; Нгуен, Хай; Вудрафф, Дэвид (2013). «Вложения подпространств для полиномиального ядра». НИПС'14: Материалы 27-й Международной конференции по системам обработки нейронной информации.. Ассоциация вычислительной техники. Дои:10.1145/2493252.2493254.
9. Анна Эстеве, Ева Бой и Хосеп Фортиана (2009 г.): Условия взаимодействия в дистанционной регрессии, коммуникации в статистике - теория и методы, 38:19, стр. 3501 [1]
10. Слюсарь В. И. (27 декабря 1996 г.). «Конечные продукты в матрицах в радиолокационных приложениях» (PDF). Радиоэлектроника и системы связи.– 1998, Вып. 41; Число 3: 50–53.
11. Слюсарь, В. И. (20.05.1997). «Аналитическая модель цифровой антенной решетки на основе матричных продуктов расщепления граней» (PDF). Proc. ICATT-97, Киев: 108–109.
12. Слюсарь, В. И. (15.09.1997). «Новые операции матричного продукта для приложений радаров» (PDF). Proc. Прямые и обратные задачи теории электромагнитных и акустических волн (ДИПЭД-97), Львов.: 73–74.
13. Слюсарь В. И. (13 марта 1998 г.). «Семейство граней произведений матриц и его свойства» (PDF). Кибернетика и системный анализ. C / C Кибернетика и Системный анализ. - 1999 г.. 35 (3): 379–384. Дои:10.1007 / BF02733426.
14. Слюсарь В. И. (2003). «Обобщенные лицевые произведения матриц в моделях цифровых антенных решеток с неодинаковыми каналами» (PDF). Радиоэлектроника и системы связи. 46 (10): 9–17.
15. Ахле, Томас; Капралов, Михаил; Кнудсен, Якоб; Паг, Расмус; Велингкер, Амея; Вудрафф, Дэвид; Зандие, Амир (2020). Забывчивые наброски полиномиальных ядер высокой степени. Симпозиум ACM-SIAM по дискретным алгоритмам. Ассоциация вычислительной техники. Дои:10.1137/1.9781611975994.9.
16. Айлон, Нир; Шазель, Бернар (2006). «Приближенные ближайшие соседи и быстрое преобразование Джонсона – Линденштрауса». Материалы 38-го ежегодного симпозиума ACM по теории вычислений. Нью-Йорк: ACM Press. С. 557–563. Дои:10.1145/1132516.1132597. ISBN  1-59593-134-1. МИСТЕР  2277181.
17. Джин, Рухуи, Тамара Г. Колда и Рэйчел Уорд. «Более быстрое преобразование Джонсона – Линденштрауса с помощью продуктов Кронекера». Препринт arXiv arXiv: 1909.04801 (2019).
18. Ван, Инин; Дун, Сяо-Ю; Смола, Александр; Анандкумар, Анима. Быстрая и гарантированная декомпозиция тензорной системы с помощью эскизов. Достижения в системах обработки нейронной информации 28 (NIPS 2015).
19. Гао, Ян и др. «Компактное билинейное объединение». Материалы конференции IEEE по компьютерному зрению и распознаванию образов. 2016 г.
20. Алгашам, Фейсал М. и др. «Мультиспектральная периокулярная классификация с мультимодальным компактным полилинейным объединением». IEEE Access 5 (2017): 14572–14578.

дальнейшее чтение

• Ахле, Томас; Кнудсен, Якоб (2019-09-03). «Почти оптимальный тензорный набросок». Researchgate. Получено 2020-07-11.
• Слюсарь В. И. (27 декабря 1996 г.). «Конечные продукты в матрицах в радиолокационных приложениях» (PDF). Радиоэлектроника и системы связи.– 1998, Вып. 41; Число 3: 50–53.
• Слюсарь, В. И. (20.05.1997). «Аналитическая модель цифровой антенной решетки на основе матричных продуктов расщепления граней» (PDF). Proc. ICATT-97, Киев: 108–109.
• Слюсарь, В. И. (15.09.1997). «Новые операции матричного продукта для приложений радаров» (PDF). Proc. Прямые и обратные задачи теории электромагнитных и акустических волн (ДИПЭД-97), Львов.: 73–74.
• Слюсарь В. И. (13 марта 1998 г.). «Семейство граней произведений матриц и его свойства» (PDF). Кибернетика и системный анализ К / К Кибернетика и Системный анализ.- 1999.. 35 (3): 379–384. Дои:10.1007 / BF02733426.