Бхаттачарья расстояние - Bhattacharyya distance

В статистика, то Бхаттачарья расстояние измеряет сходство из двух распределения вероятностей. Это тесно связано с Коэффициент Бхаттачарьи который является мерой перекрытия между двумя статистический образцы или популяции. Обе меры названы в честь Анил Кумар Бхаттачарья, а статистик которые работали в 1930-е гг. на Индийский статистический институт.^[1]

Коэффициент может использоваться для определения относительной близости двух рассматриваемых выборок. Он используется для измерения разделимости классов в классификация и считается более надежным, чем Расстояние Махаланобиса, поскольку расстояние Махаланобиса является частным случаем расстояния Бхаттачарьи, когда стандартные отклонения двух классов одинаковы. Следовательно, когда два класса имеют одинаковые средние значения, но разные стандартные отклонения, расстояние Махаланобиса будет стремиться к нулю, тогда как расстояние Бхаттачарьи растет в зависимости от разницы между стандартными отклонениями.

Определение

За распределения вероятностей п и q над тем же домен Икс, расстояние Бхаттачарьи определяется как

${\displaystyle D_{B}(p,q)=-\ln \left(BC(p,q)\right)}$

куда

${\displaystyle BC(p,q)=\sum _{x\in X}{\sqrt {p(x)q(x)}}}$

это Коэффициент Бхаттачарьи за дискретные распределения вероятностей.

За непрерывные распределения вероятностей, коэффициент Бхаттачарьи определяется как

${\displaystyle BC(p,q)=\int {\sqrt {p(x)q(x)}}\,dx}$

В любом случае, ${\displaystyle 0\leq BC\leq 1}$ и ${\displaystyle 0\leq D_{B}\leq \infty }$. ${\displaystyle D_{B}}$ не подчиняется неравенство треугольника, но Расстояние Хеллингера, который задается ${\displaystyle {\sqrt {1-BC(p,q)}}}$ подчиняется неравенству треугольника.

В своей простейшей формулировке расстояние Бхаттачарьи между двумя классами при нормальном распределении может быть вычислено^[2] путем извлечения среднего значения и дисперсии двух отдельных распределений или классов:

${\displaystyle D_{B}(p,q)={\frac {1}{4}}\ln \left({\frac {1}{4}}\left({\frac {\sigma _{p}^{2}}{\sigma _{q}^{2}}}+{\frac {\sigma _{q}^{2}}{\sigma _{p}^{2}}}+2\right)\right)+{\frac {1}{4}}\left({\frac {(\mu _{p}-\mu _{q})^{2}}{\sigma _{p}^{2}+\sigma _{q}^{2}}}\right)}$

куда:

${\displaystyle \sigma _{p}^{2}}$	это дисперсия п-я раздача,
${\displaystyle \mu _{p}}$	это среднее значение п-е распределение, и
${\displaystyle p,q}$	это два разных дистрибутива.

В Расстояние Махаланобиса используется в Фишере линейный дискриминантный анализ является частным случаем расстояния Бхаттачарьи.

За многомерный нормальный распределения ${\displaystyle p_{i}={\mathcal {N}}({\boldsymbol {\mu }}_{i},\,{\boldsymbol {\Sigma }}_{i})}$,

${\displaystyle D_{B}={1 \over 8}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})^{T}{\boldsymbol {\Sigma }}^{-1}({\boldsymbol {\mu }}_{1}-{\boldsymbol {\mu }}_{2})+{1 \over 2}\ln \,\left({\det {\boldsymbol {\Sigma }} \over {\sqrt {\det {\boldsymbol {\Sigma }}_{1}\,\det {\boldsymbol {\Sigma }}_{2}}}}\right),}$

куда ${\displaystyle {\boldsymbol {\mu }}_{i}}$ и ${\displaystyle {\boldsymbol {\Sigma }}_{i}}$ - средние и ковариации распределений, и

${\displaystyle {\boldsymbol {\Sigma }}={{\boldsymbol {\Sigma }}_{1}+{\boldsymbol {\Sigma }}_{2} \over 2}.}$

Обратите внимание, что в этом случае первый член в расстоянии Бхаттачарьи связан с Расстояние Махаланобиса.

Коэффициент Бхаттачарьи

В Коэффициент Бхаттачарьи приблизительный измерение степени перекрытия двух статистический образцы. Коэффициент может использоваться для определения относительной близости двух рассматриваемых выборок.

Расчет коэффициента Бхаттачарьи включает элементарную форму интеграция перекрытия двух образцов. Интервал значений двух выборок разбивается на выбранное количество перегородки, а количество членов каждой выборки в каждом разделе используется в следующей формуле:

${\displaystyle BC(\mathbf {p} ,\mathbf {q} )=\sum _{i=1}^{n}{\sqrt {p_{i}q_{i}}},}$^[3]

где с учетом образцов п и q, п - количество разделов, а ${\displaystyle p_{i}}$, ${\displaystyle q_{i}}$ количество членов выборки п и q в я-й раздел.

Следовательно, эта формула больше для каждого раздела, в котором есть элементы из обеих выборок, и больше для каждого раздела, который имеет большое перекрытие двух элементов в нем. Выбор количества разделов зависит от количества членов в каждом образце; слишком мало разделов потеряет точность из-за завышенной оценки области перекрытия, а слишком много разделов потеряют точность из-за создания отдельных разделов без элементов, несмотря на то, что они находятся в густонаселенном пространстве выборки.

Коэффициент Бхаттачарьи будет равен 0, если нет никакого перекрытия из-за умножения на ноль в каждом разделе. Это означает, что расстояние между полностью разделенными образцами не будет зависеть только от этого коэффициента.

Коэффициент Бхаттачарьи используется при построении полярные коды.^[4]

Приложения

Расстояние Бхаттачарьи широко используется в исследованиях выделения и выбора признаков,^[5] обработка изображений,^[6] распознавание говорящего,^[7] и телефонная кластеризация.^[8]

«Пространство Бхаттачарьи» было предложено в качестве метода выбора признаков, который можно применять для сегментации текстуры.^[9]

Смотрите также

• Угол Бхаттачарьи
• Дивергенция Кульбака – Лейблера
• Расстояние Хеллингера
• Расстояние Махаланобиса
• Чернов граница
• Энтропия Реньи
• F-дивергенция

Рекомендации

1. Бхаттачарья, А. (1943). «О мере расхождения между двумя статистическими популяциями, определяемыми их распределениями вероятностей». Бюллетень Калькуттское математическое общество. 35: 99–109. МИСТЕР  0010358.
2. Гай Б. Коулман, Гарри К. Эндрюс, «Сегментация изображений с помощью кластеризации», Proc IEEE, Vol. 67, No. 5, pp. 773–785, 1979 г.
3. Д. Команичиу, В. Рамеш, П. Меер, Отслеживание в режиме реального времени нежестких объектов с использованием среднего сдвига В архиве 2010-08-14 на Wayback Machine, ЛУЧШАЯ СТАТЬЯ НАГРАДА, IEEE Conf. Компьютерное зрение и распознавание образов (CVPR'00), Хилтон-Хед-Айленд, Южная Каролина, Vol. 2, 142–149, 2000.
4. Арыкан, Эрдал (июль 2009 г.). «Поляризация канала: метод построения кодов достижения емкости для симметричных каналов без памяти с двоичным входом». IEEE Transactions по теории информации. 55 (7): 3051–3073. arXiv:0807.3917. Дои:10.1109 / TIT.2009.2021379.
5. Юисун Чой, Чулхи Ли, «Извлечение признаков на основе расстояния Бхаттачарьи», Распознавание образов, Том 36, выпуск 8, август 2003 г., страницы 1703–1709
6. Франсуа Гудаил, Филипп Рефрежье, Гийом Дельон, «Расстояние Бхаттачарьи как параметр контраста для статистической обработки зашумленных оптических изображений», JOSA A, Vol. 21, выпуск 7, стр. 1231-1240 (2004)
7. Чанг Хуай Ю, "Ядро SVM с GMM-супервектором на основе расстояния Бхаттачарьи для распознавания говорящего", Письма об обработке сигналов, IEEE, Vol 16, Is 1, pp. 49-52
8. Мак, Б., «Кластеризация телефонов с использованием расстояния Бхаттачарьи», Устная речь, 1996. ICSLP 96. Proceedings., Fourth International Conference on, Vol 4, pp. 2005–2008 vol.4, 3–6 Oct 1996
9. Рейес-Альдасоро, C.C. и А. Бхалерао, "Пространство Бхаттачарьи для выбора признаков и его применение для сегментации текстуры", Распознавание образов, (2006) Т. 39, выпуск 5, май 2006 г., стр. 812–826

• Nielsen, F .; Больц, С. (2010). «Центроиды Бурбеа – Рао и Бхаттачарья». IEEE Transactions по теории информации. 57 (8): 5455–5466. arXiv:1004.5049. Дои:10.1109 / TIT.2011.2159046.

• Кайлат, Т. (1967). «Расхождение и меры расстояния Бхаттачарьи в выборе сигнала». IEEE Transactions по коммуникационным технологиям. 15 (1): 52–60. Дои:10.1109 / TCOM.1967.1089532.

• Djouadi, A .; Snorrason, O .; Гарбер, Ф. (1990). «Качество обучающей выборки оценок коэффициента Бхаттачарьи». IEEE Transactions по анализу шаблонов и машинному анализу. 12 (1): 92–97. Дои:10.1109/34.41388.

• Краткий список свойств см .: http://www.mtm.ufsc.br/~taneja/book/node20.html

внешняя ссылка

• «Расстояние Бхаттачарьи», Энциклопедия математики, EMS Press, 2001 [1994]