| Эта статья предоставляет недостаточный контекст для тех, кто не знаком с предметом. Пожалуйста помоги улучшить статью к обеспечение большего контекста для читателя. (Февраль 2012 г.) (Узнайте, как и когда удалить этот шаблон сообщения) |
В теория информации, двойная полная корреляция (Хан 1978), скорость передачи информации (Дубнов 2006), избыточная энтропия (Olbrich 2008), или обязательная информация (Abdallah and Plumbley 2010) - одно из нескольких известных неотрицательных обобщений взаимная информация. Пока полная корреляция ограничена суммой энтропий п элементов двойственная полная корреляция ограничена совместной энтропией п элементы. Несмотря на хорошее поведение, двойной полной корреляции уделяется гораздо меньше внимания, чем полной корреляции. Мера, известная как «TSE-сложность», определяет континуум между полной корреляцией и двойной полной корреляцией (Ay 2001).
Определение
Диаграмма Венна теоретико-информационных мер для трех переменных x, y и z. Двойная полная корреляция представлена объединением трех взаимных данных и показана на диаграмме желтой, пурпурной, голубой и серой областями.
Для набора п случайные переменные
двойная полная корреляция
дан кем-то
![{ Displaystyle D (X_ {1}, ldots, X_ {n}) = H left (X_ {1}, ldots, X_ {n} right) - sum _ {i = 1} ^ {n } H left (X_ {i} mid X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n} right),}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5f6e92004c12df94deebd68f5faed06eff5a3f01)
куда
это совместная энтропия набора переменных
и
это условная энтропия переменной
, учитывая остальное.
Нормализованный
Двойная общая корреляция, нормализованная между [0,1], представляет собой просто двойную общую корреляцию, деленную на ее максимальное значение.
,
![{ Displaystyle ND (X_ {1}, ldots, X_ {n}) = { frac {D (X_ {1}, ldots, X_ {n})} {H (X_ {1}, ldots, X_ {n})}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/47cdd2116bad4491d832db0570db9849c6b950bb)
Границы
Двойная полная корреляция неотрицательна и ограничена сверху совместной энтропией
.
![{ displaystyle 0 leq D (X_ {1}, ldots, X_ {n}) leq H (X_ {1}, ldots, X_ {n}).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/627f24a17b098e1fa0f090aff8ff873b661469e0)
Во-вторых, двойная полная корреляция тесно связана с полной корреляцией,
. Особенно,
![{ displaystyle { frac {C (X_ {1}, ldots, X_ {n})} {n-1}} leq D (X_ {1}, ldots, X_ {n}) leq (n -1) ; C (X_ {1}, ldots, X_ {n}).}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e524eed174e374648be0c3fa5c7864e826ff697)
Отношение к другим величинам
В теоретическая мера термины, по определению двойной полной корреляции:
![{ displaystyle D (X_ {1}, ldots, X_ {n}) = mu left ( bigcup _ {i} { tilde {X}} _ {i} setminus left ( bigcup _ { j} { tilde {X}} _ {j} setminus bigcup _ {k neq j} { tilde {X}} _ {k}) right) right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ec3412dcb1b77e61a5b1e758ca47bb0a175ea1fd)
что равно объединению попарных взаимных сведений:
![{ displaystyle D (X_ {1}, ldots, X_ {n}) = mu left ( bigcup _ {i} bigcup _ {j neq i} left ({ tilde {X}} _ {i} cap { tilde {X}} _ {j} right) right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0aa5f961f081f54f7db5b4f548412cbf80294c65)
История
Хан (1978) первоначально определил двойную полную корреляцию как
![{ Displaystyle { begin {align} & D (X_ {1}, ldots, X_ {n}) [10pt] Equiv {} & left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n}) right] - (n-1) ; H (X_ {1}, ldots, X_ {n}) ;. end {align}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ea2e782114729ee959c0d4daea12add31155c9e2)
Однако Абдалла и Пламбли (2010) продемонстрировали его эквивалентность более простой для понимания форме совместной энтропии за вычетом суммы условных энтропий посредством следующего:
![{ Displaystyle { begin {align} & D (X_ {1}, ldots, X_ {n}) [10pt] Equiv {} & left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n}) right] - (n-1) ; H (X_ {1}, ldots, X_ {n}) = {} & left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1 }, ldots, X_ {n}) right] + (1-n) ; H (X_ {1}, ldots, X_ {n}) = {} & H (X_ {1}, ldots , X_ {n}) + left [ sum _ {i = 1} ^ {n} H (X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n}) - H (X_ {1}, ldots, X_ {n}) right] = {} & H left (X_ {1}, ldots, X_ {n} right) - sum _ {i = 1} ^ {n} H left (X_ {i} mid X_ {1}, ldots, X_ {i-1}, X_ {i + 1}, ldots, X_ {n} справа) ;. end {выровнено}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7e0c41d6465fc1a44a28ba153c9003e6bc75652c)
Смотрите также
Рекомендации
- Хан Т. С. (1978). Неотрицательные энтропийные меры многомерных симметричных корреляций, Информация и контроль 36, 133–156.
- Фудзишигэ Сатору (1978). Полиматроидная структура зависимости набора случайных величин, Информация и контроль 39, 55–72. Дои:10.1016 / S0019-9958 (78) 91063-X.
- Дубнов С. (2006). Призрачные ожидания, Компьютерный музыкальный журнал, 30(2):63–83.
- Ольбрих, Э., Бертчингер, Н., Эй, Н. и Йост, Дж. (2008). Как сложность должна масштабироваться с размером системы ?, The European Physical Journal B - Конденсированные вещества и сложные системы. Дои:10.1140 / epjb / e2008-00134-9.
- Абдалла С. А. и Пламбли М. Д. (2010). Мера статистической сложности, основанная на прогнозной информации, Электронные отпечатки ArXiv. arXiv:1012.1890v1.
- Нихат Ай, Э. Ольбрих, Н. Берчингер (2001). Объединяющая основа для мер сложности конечных систем. Европейская конференция по сложным системам. pdf.