Aproximación funcional por mínimos cuadrados · una única solución. demostración: • basta...
Transcript of Aproximación funcional por mínimos cuadrados · una única solución. demostración: • basta...
Laboratori de Càlcul Numèric (LaCàN) Departament de Matemàtica Aplicada III
Universitat Politècnica de Catalunya (Barcelona) http://www-lacan.upc.es
Aproximación funcional por mínimos cuadrados
· 2
Introducción
Interpolación polinómica pura puede no ser la mejor opción: • si el número de datos (n+1) es elevado, el polinomio
interpolador puede presentar oscilaciones importantes (ejemplo paradoja de Runge),
• poca flexibilidad para elegir el tipo de interpolante (polinomio de grado n)
• si los datos son experimentales o susceptibles de tener un cierto error no tiene sentido imponer que el interpolante pase exactamente por los datos, es suficiente exigir “que se acerque lo máximo posible”
cambio de criterio de aproximación
· 3
Ejemplo: REGRESIÓN LINEAL
Criterio de MÍNIMOS CUADRADOS
· 4 APROXIMACIÓN FUNCIONAL. INTRODUCCIÓN
Mínimos cuadrados: se minimiza el cuadrado de la distancia entre f(x) y p(x)
versión continua versión discreta
4
· 5
Producto escalar continuo
Producto escalar discreto
· 6
Producto escalar y norma
Producto escalar <·,·>: es una forma 1. bilineal
2. simétrica
3. y definida positiva
· 7
Todo producto escalar tiene una norma asociada
Norma || · ||:
1. y
2.
3.
· 8
Criterio de MÍNIMOS CUADRADOS
Mínimos cuadrados es un criterio de aproximación que se puede utilizar para ajustar cualquier tipo de función: • Aproximación polinómica
• Aproximación trigonométrica
• otros, por ejemplo,
En cualquier caso, el aproximante se expresa en función de un número finito de coeficientes (con dependencia lineal o no lineal)
Criterio de MÍNIMOS CUADRADOS
Criterio de mínimos cuadrados: minimizar el error
donde el aproximante p(x) depende de los coeficientes c0,…,cm
El mínimo se obtiene derivando respecto a los coeficientes
(sistema de ecuaciones m x m)
· 9
· 10
Teorema de existencia de proyección
Sea V un espacio métrico, y W un subespacio de dimensión finita. Entonces, dado v∈V existe w*∈W tal que ||v-w*|| ≤ ||v-w|| para todo w ∈W
· 11
Mínimos cuadrados sobre un espacio vectorial: ECUACIONES NORMALES
Caso particular: el espacio de aproximación es un espacio vectorial (el aproximante depende linealmente de los coeficientes)
• base
• aproximante
• buscamos los coeficientes c0, c1,...,cm que minimicen
· 12
Para encontrar el mínimo derivamos respecto a los coeficientes
· 13
Proyección
p(x) es la proyección de f(x) sobre Ψ
· 14
Sustituyendo
se obtienen las ecuaciones normales
(notación)
· 15
Teorema fundamental de Mínimos Cuadrados
Si son linealmente independientes, el problema de mínimos cuadrados, planteado como solución de las ecuaciones normales, 1. Tiene solución única 2. La solución se caracteriza por la propiedad de
ortogonalidad
3. Si son una base ortogonal
(coeficientes de Fourier)
· 16
Ejemplo: regresión lineal
Ejemplo: paradoja de Runge
Tipo aproximación: polinómica Criterios:
Interpolación pura Mínimos cuadrados
· 17
-1 -0.5 0 0.5 1-1
-0.5
0
0.5
1
f(x) n=4 n=8 n=16-1 -0.5 0 0.5 1
-0.2
0
0.2
0.4
0.6
0.8
f(x) n=4 n=8 n=16
· 18
Teorema
Si las funciones son linealmente independientes, el problema de mínimos cuadrados tiene una única solución.
demostración: • basta comprobar que la matriz de las ecuaciones normales A es
regular • la matriz es regular si la única solución del sistema homogéneo es
el vector 0 (hay que comprobarlo)
· 19
Consideremos un vector solución del sistema homogéneo, es decir,
Por lo tanto, la norma de la función es
· 20
|| · || norma
ψi linealmente independientes
· 21
Aproximación polinómica por mínimos cuadrados con datos discretos
n+1 datos: f(xi) con i=0,...,n Aproximación con un polinomio de grado m
donde es una base de Pm (espacio de polinomios de grado menor o igual que m)
Condición
· 22
Si m>n el producto escalar discreto
es degenerado en Pm (no induce una norma)
cumple aunque Si m=n el polinomio pn(x) es el polinomio de
interpolación
· 23
Malcondicionamiento de las ecuaciones normales
Las ecuaciones normales pueden estar muy mal condicionadas (depende de la elección de la base)
Por ejemplo, la matriz de las ecuaciones normales con base natural de polinomios
y producto escalar continuo
se llama matriz de Hilbert
· 24
Matriz de Hilbert de dimensión m+1
m Número de condición
2 1.9 101 3 5.2 102 5 4.8 105
10 1.6 1013 15 6.1 1020
· 25
Bases ortogonales
Ecuaciones normales con matriz diagonal
· 26
Familias de polinomios ortogonales
Polinomios de Legendre:
Polinomios de Gram:
con puntos equiespaciados en [-1,1]
Para intervalo [a,b] se hace un cambio de variable
· 27
Paradoja de Runge
Interpolación polinómica
5 9 17