Distancia de energia

La distancia de energía es una distancia estadística entre distribuciones de probabilidad. Si X y Y son dos vectores aleatorios independientes en R^d con funciones de distribución acumulada (cdf) F y G respectivamente, la distancia de energía entre las distribuciones F y G se define mediante la raíz cuadrada de

$D^{2}(F,G)=2\operatorname {E} \|X-Y\|-\operatorname {E} \|X-X'\|-\operatorname {E} \|Y-Y'\|\geq 0,$

donde (X, X', Y, Y') son variables aleatorias independientes, siendo X y X' distribuidas de acuerdo a F, Y e Y' según G, $\operatorname {E}$ es el operador esperanza, y || . || denota la norma euclidiana usual. La distancia de energía satisface todos los axiomas de una distancia, por tanto, la distancia de energía caracteriza la igualdad de distribuciones, esto es, D(F,G) = 0 si y sólo si F = G. La noción de distancia de fue introducida inicialmente en 1985 por Gábor J. Székely, quién demostró para el caso unidimensional la siguiente relación:

$D^{2}(F,G)=\int _{-\infty }^{\infty }(F(x)-G(x))^{2}\,dx,$

que muestra la equivalencia con la distancia de Harald Cramér.

Para una prueba elemental de esta equivalencia, véase por ejemplo Székely (2002).​

En dimensiones más altas (p>1), como la distancia de energía es invariante ante rotaciónes, mientras la distancia de Cramér no lo es, el test estadístico asociado al problema de testear la igual de distribución entre dos muestras no es de distribución libre.

Generalización a espacios métricos

El concepto de distancia de energía puede generalizarse a un contexto más general de espacios métricos. Sea $(M,d)$ un espacio métrico con sigma álgebra de Borel ${\mathcal {B}}(M)$. Denotemos mediante ${\mathcal {P}}(M)$ denotar la colección de todas medidas de probabilidad en el espacio medible $(M,{\mathcal {B}}(M))$. Si μ y ν son medidas de probabilidad en ${\mathcal {P}}(M)$, entonces la distancia de energía, entre los elementos aleatorios μ y ν, viene dado por la raíz cuadrada de

$D^{2}(\mu ,\nu )=2\operatorname {E} [d(X,Y)]-\operatorname {E} [d(X,X')]-\operatorname {E} [d(Y,Y')].$

En general, la expresión anterior no es necesariamente positiva, por ello tenemos que introducir restricciones adicionales sobre la métrica, como que la métrica $(M,d)$ sea de tipo fuertemente negativo.​ Bajo estas condiciones, podemos caracterizar la igual de distribución entre las variables aleatorias, la distancia de energía es cero si y sólo si X=Y (en distribución). Todo espacios euclidianos e incluso, los espacios de Hilbert separables son de tipo fuertemente negativo.​

En la literatura de los métodos kernels en el campo del aprendizaje de máquina, hay una equivalencia entre las distancias derivadas con los métodos kernel de incrustación y la distancia de energía.​​ Esta equivalencia puede encontrarse tanto a nivel poblacional como muestral.

Estadístico de la distancia de energía

Un concepto estadístico relacionado, es el concepto del estadístico de la distancia de energía,​ acuñado por el profesor Gábor J. Székely en 1980, en diferentes conferencias tanto en su país natal de Hungría, como en distintas universidad norteamericanas: MIT, Yale, y Columbia. Este concepto está basado en la idea de la energía potencial del newton.​ La noción de la energía potencial estadística se basea en considerar las observaciones estadísticas como cuerpos celestiales, y ver el estadístico como una energía potencial estadística qué es cero sólo cuándo la hipótesis nula del estadístico de contraste es cierta. El estadístico de la distancia energía puede ser visto también como una distancia entre muestras aleatorias.

Constrastar la igual de distribución entre dos muestras aleatorias

Consideremos la hipótesis nula que las variables aleatorias, X e Y, tienen las mismas distribuciones de probabilidad: $\mu =\nu$. Dadas dos muestras aleatorias de X e Y, respectivamente:

$x_{1},\dots ,x_{n}$, e, $y_{1},\dots ,y_{m},$

consideremos las siguientes medias aritméticas entre las distancias de los elementos muéstrales:

.$A:={\frac {1}{nm}}\sum _{i=1}^{n}\sum _{j=1}^{m}\|x_{i}-y_{j}\|,B:={\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\|x_{i}-x_{j}\|,C:={\frac {1}{m^{2}}}\sum _{i=1}^{m}\sum _{j=1}^{m}\|y_{i}-y_{j}\|$

La distancia de energía muestral se define mediante:

$E_{n,m}(X,Y):=2A-B-C.$

Uno puede probar que el estadístico muestral anterior se comparta como una verdadera distancia estadística entre los elementos muéstrales. En la práctica con fines de probar la consistencia del test estadístico asociado, consideramos el siguiente estadístico de contraste normalizado por el tamaño de la muestra de cada muestra:

$T={\frac {nm}{n+m}}E_{n,m}(X,Y).$

Como el estadístico de contraste se puede escribir como un V-estadístico, se puede probar que el estadístico anterior, converge distribucionalmente a una forma cuadrática de variables aleatorias normales e independientes entre sí. Bajo la hipótesis alternativa, el estadístico anterior diverge con probabilidad igual a 1. Esto muestra que el test estadístico asociado al estadístico de contraste anterior es ómnibus.​

Bondad de ajuste

De acuerdo a las ideas de la distancia de energía, podemos definir un test de bondad de ajuste. En particular, el método de bondad de ajuste con la distancia de energía viene específicado mediante

$Q_{n}=n\left({\frac {2}{n}}\sum _{i=1}^{n}\operatorname {E} \|x_{i}-X\|^{\alpha }-\operatorname {E} \|X-X'\|^{\alpha }-{\frac {1}{n^{2}}}\sum _{i=1}^{n}\sum _{j=1}^{n}\|x_{i}-x_{j}\|^{\alpha }\right),$

donde X y X' son variables aleatorias independientes e idénticamente distribuidos según la distribución especificada en la hipótesis nula, y $\alpha \in (0,2)$. La condición para que el procedimiento de bondad de ajuste sea ómnibus es la existencia de momentos de orden $\alpha$ en la variable aleatoria X. Bajo la hipótesis nula, la distribución asintótica de Q_n es de nuevo una forma cuadrática de variables aleatorias Gaussianas. Bajo una hipótesis alternativa, Qn diverge a infinito con probabilidad 1, y por tanto el estadístico de contraste define un test ómnibus.

En el caso relevante de testear si una distribución es gaussiana,​ el software necesario se encuentra públicamente disponible en el paquete de R energy.

Aplicaciones

Las aplicaciones de la distancia de energía incluyen entre otras:

• Clustering Jerárquico (una generalización del método de Ward)​​
• Métodos de bondad de ajuste de gaussanidad​
• Test de igualdad de distribución con dos o más muestras,​​
• Detección de puntos de​
• Test de independencia estadística:
  • Distancia de covarianza y correlación,​
  • Distancia de covarianza para procesos estocásticos.​

• Estadística robusta​
• Selección de genes​
• Microarray Análisis de datos ómicos​
• Análisis de estructura materiales​
• Morfométrico y análisis quimiometrico​