Радиальная базисная функция - Radial basis function

А радиальная базисная функция (RBF) это функция с действительным знаком ${\textstyle \varphi }$ значение которого зависит только от расстояния между входом и некоторой фиксированной точкой, либо источник, так что ${\textstyle \varphi (\mathbf {x} )=\varphi (\left\|\mathbf {x} \right\|)}$, или другая фиксированная точка ${\textstyle \mathbf {c} }$, называется центр, так что ${\textstyle \varphi (\mathbf {x} )=\varphi (\left\|\mathbf {x} -\mathbf {c} \right\|)}$. Любая функция ${\textstyle \varphi }$ что удовлетворяет свойству ${\textstyle \varphi (\mathbf {x} )=\varphi (\left\|\mathbf {x} \right\|)}$ это радиальная функция. Расстояние обычно Евклидово расстояние, хотя другие метрики иногда используются. Их часто используют как коллекцию ${\displaystyle \{\varphi _{k}\}_{k}}$который образует основа для некоторых функциональное пространство представляет интерес, отсюда и название.

Суммы радиальных базисных функций обычно используются для приближенно заданные функции. Этот процесс аппроксимации также можно интерпретировать как простой вид нейронная сеть; в этом контексте они изначально применялись к машинному обучению в работе Дэвид Брумхед и Дэвид Лоу в 1988 году,^[1][2] который возник из Майкл Дж. Д. Пауэлл плодотворное исследование 1977 года.^[3][4][5]RBF также используются в качестве ядро в классификация опорных векторов.^[6] Этот метод оказался достаточно эффективным и гибким, поэтому радиальные базисные функции теперь применяются во множестве инженерных приложений.^[7][8]

Определение

Радиальная функция - это функция ${\textstyle \varphi :[0,\infty )\to \mathbb {R} }$. В сочетании с метрикой в ​​векторном пространстве ${\textstyle \|\cdot \|:V\to [0,\infty )}$ функция ${\textstyle \varphi _{\mathbf {c} }=\varphi (\|\mathbf {x} -\mathbf {c} \|)}$ называется радиальным ядром с центром в ${\textstyle \mathbf {c} }$. Радиальная функция и связанные с ней радиальные ядра называются радиальными базисными функциями, если для любого набора узлов ${\displaystyle \{\mathbf {x} _{k}\}_{k=1}^{n}}$

• Ядра ${\displaystyle \varphi _{\mathbf {x} _{1}},\varphi _{\mathbf {x} _{2}},\dots ,\varphi _{\mathbf {x} _{n}}}$ линейно независимы (например, ${\displaystyle \varphi (r)=r^{2}}$ в ${\displaystyle V=\mathbb {R} }$ не является радиальной базисной функцией)

• Ядра ${\displaystyle \varphi _{\mathbf {x} _{1}},\varphi _{\mathbf {x} _{2}},\dots ,\varphi _{\mathbf {x} _{n}}}$ сформировать основу для Пространство Хаара, что означает, что матрица интерполяции

$${\displaystyle {\begin{bmatrix}\varphi (\|\mathbf {x} _{1}-\mathbf {x} _{1}\|)&\varphi (\|\mathbf {x} _{2}-\mathbf {x} _{1}\|)&\dots &\varphi (\|\mathbf {x} _{n}-\mathbf {x} _{1}\|)\\\varphi (\|\mathbf {x} _{1}-\mathbf {x} _{2}\|)&\varphi (\|\mathbf {x} _{2}-\mathbf {x} _{2}\|)&\dots &\varphi (\|\mathbf {x} _{n}-\mathbf {x} _{2}\|)\\\vdots &\vdots &\ddots &\vdots \\\varphi (\|\mathbf {x} _{1}-\mathbf {x} _{n}\|)&\varphi (\|\mathbf {x} _{2}-\mathbf {x} _{n}\|)&\dots &\varphi (\|\mathbf {x} _{n}-\mathbf {x} _{n}\|)\\\end{bmatrix}}}$$

неособен. ^[9][10]

Примеры

Обычно используемые типы радиальных базисных функций включают (написание ${\textstyle r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|}$ и используя ${\textstyle \varepsilon }$ указать параметр формы который можно использовать для масштабирования ввода радиального ядра^[11]):

• Бесконечно гладкие RBF

Эти радиальные базисные функции взяты из ${\displaystyle C^{\infty }(\mathbb {R} )}$ и строго положительно определенные функции^[12] которые требуют настройки параметра формы ${\displaystyle \varepsilon }$

• Гауссовский:
  $${\displaystyle \varphi (r)=e^{-(\varepsilon r)^{2}}}$$

А Функция Гаусса для нескольких вариантов ${\displaystyle \varepsilon }$.

Сюжет масштабной Функция удара с несколькими вариантами ${\displaystyle \varepsilon }$.

• Мультиквадрический:
  $${\displaystyle \varphi (r)={\sqrt {1+(\varepsilon r)^{2}}}}$$

• Обратный квадратичный:
  $${\displaystyle \varphi (r)={\dfrac {1}{1+(\varepsilon r)^{2}}}}$$

• Обратный мультиквадрик:
  $${\displaystyle \varphi (r)={\dfrac {1}{\sqrt {1+(\varepsilon r)^{2}}}}}$$

• Полигармонический сплайн:
  $${\displaystyle {\begin{aligned}\varphi (r)&=r^{k},&k&=1,3,5,\dotsc \\\varphi (r)&=r^{k}\ln(r),&k&=2,4,6,\dotsc \end{aligned}}}$$
  * Для полигармонических сплайнов четной степени ${\displaystyle (k=2,4,6,\dotsc )}$, чтобы избежать численных проблем при ${\displaystyle r=0}$ куда ${\displaystyle \ln(0)=-\infty }$, вычислительная реализация часто записывается как ${\displaystyle \varphi (r)=r^{k-1}\ln(r^{r})}$.

• Тонкая шлицевая пластина (специальный полигармонический сплайн):
  $${\displaystyle \varphi (r)=r^{2}\ln(r)}$$

• Компактно Поддерживается RBFs

Эти RBF имеют компактные опоры и поэтому не равны нулю только в пределах радиуса ${\displaystyle 1/\varepsilon }$, и поэтому имеют разреженные матрицы дифференцирования

• Функция удара:

$${\displaystyle \varphi (r)={\begin{cases}\exp \left(-{\frac {1}{1-(\varepsilon r)^{2}}}\right)&{\mbox{ for }}r<{\frac {1}{\varepsilon }}\\0&{\mbox{ otherwise}}\end{cases}}}$$

Приближение

Основная статья: Сглаживание ядра

Основная статья: Радиальная интерполяция базисной функции

Радиальные базисные функции обычно используются для построения аппроксимации функций формы

$${\displaystyle y(\mathbf {x} )=\sum _{i=1}^{N}w_{i}\,\varphi (\left\|\mathbf {x} -\mathbf {x} _{i}\right\|),}$$

где аппроксимирующая функция ${\textstyle y(\mathbf {x} )}$ представлен как сумма ${\displaystyle N}$ радиальные базисные функции, каждая из которых связана с другим центром ${\textstyle \mathbf {x} _{i}}$, и взвешенные соответствующим коэффициентом ${\textstyle w_{i}.}$ Веса ${\textstyle w_{i}}$ можно оценить с помощью матричных методов линейный метод наименьших квадратов, поскольку аппроксимирующая функция линейный в весах ${\textstyle w_{i}}$.

Подобные аппроксимационные схемы особенно широко используются.^{[нужна цитата ]} в прогнозирование временных рядов и контроль из нелинейные системы демонстрируя достаточно простые хаотичный поведение и 3D-реконструкция в компьютерная графика (Например, иерархический RBF и Поза Деформации Пространства ).

Сеть RBF

Основная статья: сеть радиальных базисных функций

Две ненормализованные гауссовские радиальные базисные функции в одном входном измерении. Базовые функциональные центры расположены по адресу ${\textstyle x_{1}=0.75}$ и ${\textstyle x_{2}=3.25}$.

Сумма

$${\displaystyle y(\mathbf {x} )=\sum _{i=1}^{N}w_{i}\,\varphi (\left\|\mathbf {x} -\mathbf {x} _{i}\right\|),}$$

также можно интерпретировать как довольно простой однослойный тип искусственная нейронная сеть называется сеть радиальных базисных функций, причем радиальные базисные функции берут на себя роль активационных функций сети. Можно показать, что любая непрерывная функция на компактный интервал в принципе может быть интерполирован с произвольной точностью суммой такого вида, если достаточно большое число ${\textstyle N}$ радиальных базисных функций.

Приближенный ${\textstyle y(\mathbf {x} )}$ дифференцируема по весам ${\textstyle w_{i}}$. Таким образом, веса можно было узнать, используя любой из стандартных итерационных методов для нейронных сетей.

Использование радиальных базисных функций таким образом дает разумный подход к интерполяции при условии, что набор подгонки был выбран таким, что он систематически охватывает весь диапазон (идеальные точки данных являются идеальными). Однако без полиномиального члена, который ортогонален радиальным базисным функциям, оценки за пределами подгоночного набора имеют тенденцию работать плохо.^{[нужна цитата ]}

Смотрите также

• Ковариационная функция Матерна
• Радиальная интерполяция базисной функции

Рекомендации

1. Сети с радиальной базисной функцией В архиве 2014-04-23 в Wayback Machine
2. Broomhead, Дэвид Х .; Лоу, Дэвид (1988). «Многопараметрическая функциональная интерполяция и адаптивные сети» (PDF). Сложные системы. 2: 321–355. Архивировано из оригинал (PDF) на 2014-07-14.
3. Майкл Дж. Д. Пауэлл (1977). «Перезапустить процедуры для метода сопряженных градиентов». Математическое программирование. 12 (1): 241–254. Дои:10.1007 / bf01593790. S2CID  9500591.
4. Сахин, Ферат (1997). Подход с использованием радиальной базовой функции к проблеме классификации цветных изображений в промышленном приложении реального времени (Магистр наук). Технологический институт Вирджинии. п. 26. HDL:10919/36847. Радиальные базисные функции были впервые введены Пауэллом для решения реальной многомерной интерполяционной задачи.
5. Брумхед и Лоу 1988, п. 347: «Мы хотели бы поблагодарить профессора М.Д. Пауэлла с факультета прикладной математики и теоретической физики Кембриджского университета за начальный стимул для этой работы».
6. Вандерплас, Джейк (6 мая 2015 г.). «Введение в машины опорных векторов». [О'Рейли]. Получено 14 мая 2015.
7. Бухманн, Мартин Дитрих (2003). Радиальные базисные функции: теория и реализации. Издательство Кембриджского университета. ISBN  978-0511040207. OCLC  56352083.
8. Бьянколини, Марко Евангелос (2018). Быстрые радиальные базисные функции для инженерных приложений. Издательство Springer International. ISBN  9783319750118. OCLC  1030746230.
9. Фасшауэр, Грегори Э. (2007). Бессеточные методы аппроксимации с помощью MATLAB. Сингапур: World Scientific Publishing Co. Pte. Ltd. С. 17–25. ISBN  9789812706331.
10. Вендланд, Хольгер (2005). Аппроксимация разрозненных данных. Кембридж: Издательство Кембриджского университета. С. 11, 18–23, 64–66. ISBN  0521843359.
11. Фасшауэр, Грегори Э. (2007). Бессеточные методы аппроксимации с помощью MATLAB. Сингапур: World Scientific Publishing Co. Pte. ООО п. 37. ISBN  9789812706331.
12. Фасшауэр, Грегори Э. (2007). Бессеточные методы аппроксимации с помощью MATLAB. Сингапур: World Scientific Publishing Co. Pte. Ltd. С. 37–45. ISBN  9789812706331.

дальнейшее чтение

• Харди, Р.Л. (1971). «Мультиквадрические уравнения топографии и других нерегулярных поверхностей». Журнал геофизических исследований. 76 (8): 1905–1915. Bibcode:1971JGR .... 76.1905H. Дои:10.1029 / jb076i008p01905.
• Харди, Р.Л. (1990). "Теория и приложения многоквадратично-бигармонического метода, 20 лет открытий, 1968 1988". Комп. Математическое приложение. 19 (8/9): 163–208. Дои:10.1016 / 0898-1221 (90) 90272-л.
• Нажмите, WH; Теукольский С.А.; Феттерлинг, штат Вашингтон; Фланнери, BP (2007), «Раздел 3.7.1. Интерполяция радиальной базовой функции», Числовые рецепты: искусство научных вычислений (3-е изд.), Нью-Йорк: Издательство Кембриджского университета, ISBN  978-0-521-88068-8
• Сираяноне, С., 1988, Сравнительные исследования кригинга, мультиквадратично-бигармонического и других методов решения проблем минеральных ресурсов, доктор философии. Диссертация, кафедра наук о Земле, Государственный университет Айовы, Эймс, Айова.
• Sirayanone, S .; Харди, Р.Л. (1995). «Многоквадратично-бигармонический метод, используемый для минеральных ресурсов, метеорологических и других приложений». Журнал прикладных наук и вычислений. 1: 437–475.