Lema de Johnson-Lindenstrauss

En matemáticas, el lema de Johnson-Lindenstrauss es un resultado que lleva el nombre de William B. Johnson y Joram Lindenstrauss sobre encajes de puntos de baja distorsión, desde el espacio euclídeo de alta dimensión al espacio euclídeo de baja dimensión. El lema establece que un conjunto de puntos en un espacio de dimensión alta se puede incrustar en un espacio de dimensión mucho más baja de tal manera que las distancias entre los puntos casi se conservan. El mapa utilizado para el encaje es al menos lipschitziano, e incluso puede tomarse como una proyección ortogonal.

El lema tiene aplicaciones en detección comprimida, aprendizaje de variedades, reducción de dimensionalidad y embebido de grafos. Gran parte de los datos almacenados y manipulados en las computadoras, incluyendo texto e imágenes, se pueden representar como puntos en un espacio de alta dimensión (consúltese el artículo modelo de espacio vectorial para el caso del texto). Sin embargo, los algoritmos esenciales para trabajar con dichos datos tienden a funcionar cada vez con mayor lentitud a medida que aumenta la dimensión. Por lo tanto, es deseable reducir la dimensionalidad de los datos de una manera que conserve su estructura relevante. El lema de Johnson-Lindenstrauss es un resultado clásico en este sentido.

Además, el lema es estrecho módulo un factor constante, es decir que existe un conjunto de puntos de tamaño m que necesita dimensión

$\Omega \left({\frac {\log(m)}{\varepsilon ^{2}}}\right)$

para que se puedan preservar las distancias entre todos los pares de puntos dentro de un factor de $(1\pm \varepsilon )$.​​

Lema

Dado $0<\varepsilon <1$, un conjunto $X$ de $m\in \mathbb {Z} _{\geq 1}$ puntos en $\mathbb {R} ^{N}$ ( $N\in \mathbb {Z} _{\geq 0}$ ), y un número entero $n>8(\ln m)/\varepsilon ^{2}$ , existe un mapa lineal $f:\mathbb {R} ^{N}\rightarrow \mathbb {R} ^{n}$ tal que

$(1-\varepsilon )\|u-v\|^{2}\leq \|f(u)-f(v)\|^{2}\leq (1+\varepsilon )\|u-v\|^{2}$

para todos $u,v\in X$.

La fórmula se puede reorganizar como sigue:

$$(1+\varepsilon )^{-1}\|f(u)-f(v)\|^{2}\leq \|u-v\|^{2}\leq (1-\varepsilon )^{-1}\|f(u)-f(v)\|^{2}$$

Alternativamente, para cualquier $\epsilon \in (0,1)$ y cualquier entero $n\geq 15(\ln m)/\varepsilon ^{2}$​ existe una función lineal $f:\mathbb {R} ^{N}\rightarrow \mathbb {R} ^{n}$ tal que la restricción $f|_{X}$ es $(1+\varepsilon )$ - bi-lipschitziana.​

Una prueba del lema toma ƒ como un múltiplo adecuado de la proyección ortogonal sobre un subespacio aleatorio de dimensión $n$ en $\mathbb {R} ^{N}$, y explota el fenómeno de la concentración de la medida.

En general, una proyección ortogonal reducirá la distancia promedio entre los puntos, pero se puede considerar que el lema trata con distancias relativas, que no cambian con la escala. En pocas palabras, tiras los dados y obtienes una proyección aleatoria, que reducirá la distancia promedio, y luego aumentas las distancias para que la distancia promedio vuelva a su valor anterior. Si continúa tirando los dados, encontrará, en tiempo aleatorio polinomial, una proyección para la cual las distancias (escaladas) satisfacen el lema.

Declaración alternativa del lema

Un lema relacionado es el lema distribucional JL. Este lema establece que para cualquier $0<\varepsilon ,\delta <1/2$ y entero positivo $d$, existe una distribución probabilística sobre el espacio $\mathbb {R} ^{k\times d}$ de donde la matriz $A$ se toma tal que para $k=O(\varepsilon ^{-2}\log(1/\delta ))$ y para cualquier vector de longitud unitaria $x\in \mathbb {R} ^{d}$, se mantiene la siguiente afirmación.​

$P(|\Vert Ax\Vert _{2}^{2}-1|>\varepsilon )<\delta$

Se puede obtener el lema JL de la versión distribucional definiendo $x=(u-v)/\|u-v\|_{2}$ y $\delta <1/n^{2}$ para algún par $u,v$ambos en $X$. Entonces el lema JL sigue por una cuota de unión sobre todos esos pares.

Aceleramiento de la transformación JL

Dado A, calcular el producto vectorial de la matriz toma tiempo $O(kd)$. Ha habido investigación en la derivación de distribuciones para las cuales el producto vectorial de matrices se puede calcular en tiempo menor que $O(kd)$.

Hay dos grandes líneas de trabajo. La primera, Fast Johnson Lindenstrauss Transform (FJLT),​ fue presentada por Ailon y Chazelle en 2006. Este método permite calcular el producto matriz-vector en tan solo $d\log d+k^{2+\gamma }$ para cualquier constante $\gamma >0$.

Otro enfoque es construir una distribución compatible con matrices que son dispersas.​ Este método permite mantener sólo un fracción $\varepsilon$ de las entradas en la matriz, lo que significa que el cálculo se puede hacer en tiempo tan solo $kd\varepsilon$. Además, si el vector tiene sólo $b$ entradas distintas de cero, el Lema JL disperso toma tiempo $kb\varepsilon$, que puede ser mucho menor que el tiempo utilizado por el Lema JL rápido, que es $d\log d$.

Proyecciones aleatorias tensorizadas

Es posible combinar dos matrices JL tomando el llamado producto de división de caras, que se define como los productos tensoriales de las filas (propuesto por V. Slyusar​ en 1996​​​​​ para aplicaciones de conjuntos de antenas digitales y de radares ). Más concretamente, sean ${C}\in \mathbb {R} ^{3\times 3}$ y ${D}\in \mathbb {R} ^{3\times 3}$ dos matrices. Entonces el producto de división de cara ${C}\bullet {D}$ es dado por​​​​​

${C}\bullet {D}=\left[{\begin{array}{c }{C}_{1}\otimes {D}_{1}\\\hline {C}_{2}\otimes {D}_{2}\\\hline {C}_{3}\otimes {D}_{3}\\\end{array}}\right].$

La idea de tensorización fue utilizada por Kasiviswanathan et al. 2010​ para la rama de privacidad diferencial.

Las matrices JL definidas así usan menos bits aleatorios y se pueden aplicar rápidamente a vectores que tienen estructura tensorial, debido a la siguiente identidad:​

$(\mathbf {C} \bullet \mathbf {D} )(x\otimes y)=\mathbf {C} x\circ \mathbf {D} y=\left[{\begin{array}{c }(\mathbf {C} x)_{1}(\mathbf {D} y)_{1}\\(\mathbf {C} x)_{2}(\mathbf {D} y)_{2}\\\vdots \end{array}}\right]$ ,

dónde $\circ$ es el producto entrada por entrada (Hadamard). Dichos cálculos se han utilizado para calcular de manera eficiente los núcleos polinómicos y muchos otros algoritmos de álgebra lineal.​

En 2020​ se demostró que si las matrices $C_{1},C_{2},\dots ,C_{c}$ son matrices independientes con entradas $\pm 1$ o Gaussianas, la matriz combinada $C_{1}\bullet \dots \bullet C_{c}$ satisface el lema distribucional JL si el número de filas es al menos

$O(\epsilon ^{-2}\log 1/\delta +\epsilon ^{-1}({\tfrac {1}{c}}\log 1/\delta )^{c})$.

Para valores grandes de $\epsilon$ esto es tan bueno como el Lema Johnson-Lindenstrauss completamente aleatorio, pero un límite inferior coincidente en el mismo documento muestra que esta dependencia exponencial de $(\log 1/\delta )^{c}$ es necesaria. Se sugieren construcciones JL alternativas para evitar esta circunstancia.

Véase también

• Proyección aleatoria
• Propiedad de isometría restringida

Lecturas adicionales

• Achlioptas, Dimitris (2003), «Database-friendly random projections: Johnson–Lindenstrauss with binary coins», Journal of Computer and System Sciences 66 (4): 671-687, doi:10.1016/S0022-0000(03)00025-4 .. Journal version of a paper previously appearing at PODC 2001.
• Baraniuk, Richard; Davenport, Mark; DeVore, Ronald; Wakin, Michael (2008), «A simple proof of the restricted isometry property for random matrices», Constructive Approximation 28 (3): 253-263, doi:10.1007/s00365-007-9003-x ..
• Dasgupta, Sanjoy; Gupta, Anupam (2003), «An elementary proof of a theorem of Johnson and Lindenstrauss», Random Structures & Algorithms 22 (1): 60-65, doi:10.1002/rsa.10073 ..
• Landweber, Peter; Lazar, Emanuel A.; Patel, Neel (2016). «On fiber diameters of continuous maps». American Mathematical Monthly 123: 392-397. arXiv:1503.07597. 
• Slyusar, V. I. (20 de mayo de 1997). «Analytical model of the digital antenna array on a basis of face-splitting matrix products.». Proc. ICATT-97, Kyiv: 108-109. 
• Slyusar, V. I. (13 de marzo de 1998). «A Family of Face Products of Matrices and its Properties». Cybernetics and Systems Analysis C/C of Kibernetika I Sistemnyi Analiz.- 1999. 35 (3): 379-384. doi:10.1007/BF02733426. 

• Datos: Q6268577