Exploraci.n de datos [Modo de compatibilidad] - OCW...

ANÁLISIS GEOESTADÍSTICO

Origen de la “Geoestadística”Geoestadística: definición y objetoDatos geográficos y análisis estadísticoConceptos básicos de EstadísticaTécnicas básicas de Estadística

ápara el Análisis Exploratorio de Datos

Concepción González García (2008)

Imagen de la NASA

Origen de la “Geoestadística”

Geoestadística (i)La Geoestadística tiene su origen en la búsqueda,

exploración y evaluación de yacimientos minerales útiles.

Se ha consolidado y desarrollado en los últimos 30 años como ciencia aplicada casi exclusivamente en el campo minero.

La gran diversidad de formas en que se presentan los datos ha llevado a la utilización de técnicas matemáticas y estadísticas para resolver un único problema: estimar valores desconocidos a partir de los conocidos, para l ti ió t i ió d l la estimación y caracterización de los recursos y reservas.


Geoestadística (ii)

Las investigaciones han buscado los métodos más eficientes que proporcionen la mayor información posible d l d di ibl de los datos disponibles.

Mediante el mejor estimador que minimice la varianza del error de estimación (error cuadrático medio) surge la Geoestadística por los trabajos de G. Matheron en la Escuela Superior de Minas de París (1949) Escuela Superior de Minas de París (1949)

Entre los métodos más recientes se pueden citar los Entre los métodos más recientes se pueden citar los “geomatemáticos”: El Inverso de la Distancia, Triangulación, Splines, etc. g p


Geoestadística (antecedentes)

Sichel (1947) 1949) observó la naturaleza asimétrica de Sichel (1947), 1949) observó la naturaleza asimétrica de la distribución del contenido de oro en las minas surafricanas, la equiparó a una distribución de f , q pprobabilidad lognormal y desarrolló las fórmulas básicas para esta distribución.

D.G. Krige (1951) desarrolló la aplicación del análisis de regresión entre muestras y bloques de mena (Mineral g m y q m (metalífero, principalmente el de hierro, tal como se extrae del criadero y antes de limpiarlo).

De la minería, las técnicas geoestadísticas, se han , g ,exportado a más campos como la hidrología, física del suelo, ciencias de la tierra y más recientemente a la

ió bi l l d d i á d éligestión ambiental y al procesado de imágenes de satélite.

Geoestadística : D fi i ió Obj t (i)Definición y Objeto (i)

La geoestadística es una rama de la estadística que trata f ó i l (J l & H ijb t 1978) fenómenos espaciales (Journel & Huijbregts, 1978).

Su interés primordial es la estimación predicción y Su interés primordial es la estimación, predicción y simulación de dichos fenómenos (Myers, 1987).

Se reconoce como una rama de la estadística tradicional, que parte de la observación de que la variabilidad o

i id d i l d l i bl di ib id l continuidad espacial de las variables distribuidas en el espacio tienen una estructura particular que se estudia mediante las depencias entre ellas mediante las depencias entre ellas.

Geoestadística : D fi i ió Obj t (ii)Definición y Objeto (ii)

> Matheron (1970) denominó a estas variables dependientes entre si, variables regionalizadas, además pde elaborar su teoría. [Journel y Huijbregts (1978), David (1977) y de Fouquet (1996)].

En resumen, la aplicación de la teoría de los procesos estocásticos a los problemas de evaluación de reservas de distintos tipos de materias primas minerales y en general a las ciencias naturales en el análisis de datos distribuidos a las ciencias naturales en el análisis de datos distribuidos espacial y temporalmente dio origen a lo que hoy se conoce como Geoestadística. conoce como Geoestadística.

D t s áfi s álisis st dístiDatos geográficos y análisis estadístico

Los SIG actuales incluyen posibilidades de exploración y p py análisis de datos.

L é i á l l d E dí i Las técnicas más elementales son de Estadística descriptiva (Análisis Exploratorio de Datos, EDA).

La Estadística Descriptiva: para una, dos y hasta 3 i bl i i j d l variables, permite resumir conjuntos de valores y

visualizar estructuras de distribuciones de probabilidad.

D t s áfi s álisis st dístiDatos geográficos y análisis estadístico

Características de los datos geográficos: t d á d d d di d en un punto, además de sus coordenadas, se dispone de

información “multivariante” (altitud, precipitación, profundidad del suelo tipo de vegetación )profundidad del suelo, tipo de vegetación,…)

El denominado Análisis exploratorio espacial de datos El denominado Análisis exploratorio espacial de datos (ESDA), es una ampliación y desarrollo del EDA. El ESDA incluye, junto a técnicas exploratorias, muchas El ESDA incluye, junto a técnicas exploratorias, muchas ideas tomadas del Análisis espacial o Estadística espacial.

Datos geográficos y análisis estadísticoDatos geográficos y análisis estadístico

•Existen algunas dificultades fundamentales para que las técnicas estadísticas convencionales manejen técnicas estadísticas convencionales manejen correctamente datos geográficos:

•El empleo de las Técnicas clásicas de Inferencia Estadística, suponen, en los datos de partida :

l d d d l b> la independencia de las observaciones> la distribución en curva de Gauss (distribución Normal)(distribución Normal)

lo cual a menudo no se cumple en datos geográficos.p g g f

Conceptos básicos de Estadística

Revisión de Técnicas estadísticas

p

Revisión de Técnicas estadísticas

M t áli i E l t i d d t

Conceptos de Inferencia Estadística paramétrica:

Muestreo y análisis Exploratorio de datos

Una variable: Estimador, propiedades, intervalos de confianza y tests de hipótesis.

Dos ó más variables: modelos lineales Dos ó más variables: modelos lineales (regresión, Análisis de la varianza)

Conceptos de procesos estocásticos (variables dependientes, medidas de dependencia espacial)

Conceptos básicos de Estadísticap

Muestreo y análisis Exploratorio de datos

Población (Universo) y Muestra.Muestreo (Obtención de datos)

Antes de comenzar un estudio geoestadístico se deben

Variables y tipos

Antes de comenzar un estudio geoestadístico se deben discutir todos los elementos que aporten conocimientos del problema a resolver, fenómeno en estudio, del problema a resolver, fenómeno en estud o, organización y verificación de la información disponible y finalmente realizar el análisis exploratorio de los datos.

Conceptos básicos de Estadísticap

Población estadística o universo es el conjunto de referencia sobre el cual van a recaer las observaciones.

Muestra: es el subconjunto de la población en el que se mide una o más variables de interésmide una o más variables de interés.-a partir de este subconjunto se obtienen conclusiones sobre las características de la población.p- la muestra debe ser representativa, en el sentido de que las conclusiones obtenidas deben servir para el total de la

bl ió población.

Unidad muestral: elementos de la población, no solapados en los que ó á óse mide. Cada elemento de la población pertenecerá a una y sólo una

unidad muestral.

Estadística básica

Tipos de muestras

Muestra probabilística: se elige mediante ciertas reglas de manera que la probabilidad de selección de reglas, de manera que la probabilidad de selección de cada unidad es conocida de antemano.

Muestra no probabilística: no se rige por las reglas matemáticas de la probabilidad.

en las muestras probabilísticas es posible calcular la magnitud del error muestral magnitud del error muestral,

no es factible hacerlo en el caso de las muestras no probabilísticas (puntos de fácil acceso, estaciones de p pmedición de la calidad del aire en una ciudad)


Métodos de muestreo

Muestreo aleatorio simple: todos los componentes o unidades de la población tienen la misma probabilidad p m m pde ser seleccionados. Es la modalidad más elemental de m. probabilistico.

Representación gráfica del muestreo aleatorio simple



Muestreo sistemático:Se selecciona al azar un punto de partida y un intervalo muestral Se selecciona al azar un punto de partida y un intervalo muestral. Así si el punto de partida fuera el 11 y el intervalo el 6 se elegirían el 11, 16, 21, 16 hasta recorrer toda la población.

Representación gráfica del muestreo sistemáticoRepresentación gráfica del muestreo sistemático



Muestreo estratificado (i):

l bl ió t di b di id t t -la población en estudio se sub- divide en estratos o subpoblaciones que tienen cierta homogeneidad en el terreno y en cada estrato se realiza un muestreo terreno y en cada estrato se realiza un muestreo aleatorio simple (o sistemático).

requisito principal para aplicar este método de -requisito principal para aplicar este método de muestreo: conocimiento previo de información que permita subdividir la población,

Por ejemplo: división que se puede realizar con base en la topografía, los horizontes del suelo la mancha del contaminante los cambios de color en

permita subdividir la población,

horizontes del suelo, la mancha del contaminante, los cambios de color en el suelo, el crecimiento irregular de las plantas, etc.



Muestreo estratificado (ii):

ti l t d t t - garantiza que los puntos de muestreo se encuentren repartidos más uniformemente en toda la zona en función del tamaño del estrato; función del tamaño del estrato;

- permite conocer de forma independiente las t í ti ti l d d t t

-recomendable para áreas mayores de diez hectáreas y cuando el

características particulares de cada estrato

recomendable para áreas mayores de diez hectáreas y cuando el terreno no es homogéneo (Mason 1992, Valencia y Hernández 2002).



Esquemas de tipos de muestreo:a) aleatorio simple; ) mp ;

b) aleatorio estratificado; c) sistemático rejilla rectangular; d) sistemático rejilla polard) sistemático rejilla polar


Otros Métodos de muestreo

Muestreo por conglomerados

E bl i t d d l l li ióEn poblaciones muy extensas, donde la localización ymedición de la muestra seleccionada supone grandesdesplazamientos se suelen agrupar las unidadesdesplazamientos se suelen agrupar las unidadeselementales en conglomerados o unidades primarias

C t í ti d l l dCaracterísticas del conglomerado:

> Conjunto de unidades muestrales elementales.

> Heterogeneidad de la variable a medir> El número total de conglomerados en la población es conocido


C t í ti

Muestreo por conglomerados

Características:División previa de la población en conglomerados o “áreasconvenientes” de las cuales se selecciona un cierto númeroconvenientes , de las cuales se selecciona un cierto númeropara la muestra

Ventajas:Ventajas:Ahorro de costes y tiempo al efectuar visitas a las unidades seleccionadas.

Disminución de necesidad de desplazamientos al concentrar unidades elementalesconcentrar unidades elementales.Inconvenientes:

M i ió l ti i b t d Menor precisión en las estimaciones, sobre todo con conglomerados de gran tamaño

Conceptos de Estadística básica

Diferencias entre tipos de muestreo

CONGLOMERADOS

Diferencias entre tipos de muestreo

ALEATORIO ESTRATIFICADO CONGLOMERADOSALEATORIO ESTRATIFICADO

(Adaptado de Peña, 2001)


Variables y Tipos de variables

Variable: cada una de las características de los elementos de una población y que varían de una unidad a elementos de una población y que varían de una unidad a otra.

Variables cualitativas (o categóricas): aquellas que notienen medida numérica; se representan por categorías p po atributos (tipo de suelo, de vegetación, textura,…).

Variables cuantitativas: las que pueden expresarse Variables cuantitativas: las que pueden expresarse numéricamente (temperatura, precipitación, profundidad suelo, altitud, pendiente, ….)p p


Variables cuantitativas

Variables discretas: son el resultado de contar y Variables discretas: son el resultado de contar y sólo toman valores enteros (número de puntos, de cuadrículas, de píxeles).

Variables continuas: son el resultado de medir, y pueden contener decimales (temperatura pueden contener decimales (temperatura, profundidad, altura). Se pueden subdividir a voluntad. Pueden tomar entonces cualquier valor de un Pueden tomar, entonces, cualquier valor de un determinado intervalo


Estadística Descriptiva

Objetivo: conocer la información disponible.

Cál l dí i dí i d i iCálculos estadísticos o estadística descriptiva.Permiten determinar si la distribución de los datos es normal lognormal o si no se ajustan a una distribución normal, lognormal, o si no se ajustan a una distribución estadística conocida. Implica tener conocimiento de:

Número de casos: representado por “n”, es el número de valores muestreados del fenómeno en estudio los datos representados por xi i = 1 nestudio, los datos representados por xi, i = 1, . . . , n.

Frecuencia de cada xi nº de veces que aparece el mismo valor medido.


Distribuciones de frecuencias

Los valores de cada xi medidos y su frecuencia de aparición en los n datos se conoce como la p mdistribución de la variable estudiada.

Valores resumen: Medidas de posición

Media: Es la media aritmética de la distribución,

n1∑=

=n

iinx

nx1

1



Moda: Es el valor más frecuente de la distribución


Mediana: Es el valor para el cual la mitad de los d t l t it d tá i d datos son menores y la otra mitad están por encima de este valor.La mediana es también llamada percentil 50 La mediana es también llamada percentil 50

Ordenando los datos en orden ascendente podemos calcular la di mediana como.

X(n+1)/2 si n es impar.M =

(Xn/2 + Xn/2+1)/2 si n es par.


V l M did d i ióValores resumen: Medidas de posición

Cuartiles, donde Q1 = percentil 25, Q2 = Mediana y Q3 = percentil 75.

Deciles si los datos se dividen en 10. De forma general estas medidas se pueden calcular De forma general estas medidas se pueden calcular por: [p(n+1)/100] ésima observación de los datos ordenados ascendentemente, donde p es el percentil , p pque se desea calcular.

Valores resumen: Medidas de posiciónValores resumen: Medidas de posición

Se forman cuatro grupos con igual cantidad de datosInterpretación de los Cuartiles

Tres cuartos de los datos toman valores iguales o inferiores a 7,6

La mitad de los datos (dos cuartos) toman valores iguales o inferiores a 3 6

Un cuarto de los datos toman valores iguales o

g p g

inferiores a 7,6iguales o inferiores a 3,6valores iguales o inferiores a 2,2

Q3=7,6Q2= Me=3,6Q =2 2 Rango IntercuartilQ1=2,2

xmax=9,9xmin=1,1

Rango IntercuartilRI=Q3-Q1

0 1 2 3 4 5 6 7 8 9 100 1 2 3 4 5 6 7 8 9 10Escala graduada de la variable en estudio


Valores resumen: Dispersión

Rango de la distribución: Es la diferencia entre el valor máximo y el mínimo observados.

Varianza: Describe la variabilidad de la distribución. Es la medida de la desviación o dispersión de la distribución.

( )∑ −=

− −=σ

n

1i

221n ni1n

1 xxSe divide por (n-1) y no por n y se representa por S2 cuando se calcula con una muestra observada porque proporciona mejor

i ió d l i d l bl ió ( i ió i d )

=1i1n

estimación de la varianza de la población. (estimación insesgada)

Esto significa que si un experimento fuera repetido muchas veces se podría esperar que el promedio de los valores así obtenidos se podría esperar que el promedio de los valores así obtenidos para S2 (valor muestral) igualaría a σ2.


Valores resumen

Desviación estándar: También describe dispersiónde la distribución Es la raíz de la medida dede la distribución. Es la raíz de la medida dedesviación alrededor de la media,

21n −σ

En las mismas unidades de medida que la variable estudiada.

Normal con σn-1 pequeña

Normal con σn 1 grandeNormal con σn-1 grande


Valores resumen

Error estándar: que se comete al estimar la media de la variable medida con los “n” observaciones de la de la variable medida con los n observaciones de la muestra. A mayor tamaño muestral menor error,

2

n21n −σ=ε

Coeficiente de variación: Es una medida de la variación relativa de los datos en porcentajevariación relativa de los datos en porcentaje,

100X

%CV 1n−σ=X n


Valores resumen: De forma

Coeficiente de asimetría (de Fisher):

D ib l i t í d l di t ib ió l ti l Describe la simetría de la distribución relativa a la distribución normal.

( ) 3n

1i

3ni3 Xx

n1

σ−=α ∑1in =



Coeficiente de asimetría (cont):

0α 3 = 0α 3 >0α 3 <

A i t í ti t ió d l l Asimetría negativa = mayor concentración de valores a la izquierda de la media.Asimetría positiva = mayor concentración de valores a la derecha Asimetría positiva mayor concentración de valores a la derecha de la media.



Curtosis (o apuntamiento): Describe el grado de esbeltez de la distribución, en relación a una ,distribución normal,

( ) 4n

1i

4ni4 Xx

n1

σ−=α ∑1in =

Eje de simetríasimetría

34 =α34 >α 34 <α


Gráficos estadísticos

Permiten ilustrar y entender las distribuciones de los datos, identificar datos errados, valores extremos, tendencias en la variación de los datos, relaciones entre variables,…

Plot of Diámetro vs Copa 1

25

30

15

20

25m

etroGráfico de dispersión

(scatterplot X-Y)

0

5

10Diá

(scatterplot X Y)

0 2 4 6 8

Copa 1

0

Exploración de datospGráficos estadísticos

Gráficos descriptivos para una variable (i)Histogram

•Histogramas4

6

8

10

12

eque

ncy

0 2 4 6 8

Copa 1

0

2

4

fre•Gráficos de cuantiles: Quantile Plot

0,8

1n

Percentiles for Copa 1

0,2

0,4

0,6

prop

ortio

n

1,0% = 1,25,0% = 1,410,0% = 1,625,0% = 2,450 0% 3 2

0 2 4 6 8

Copa 1

050,0% = 3,275,0% = 4,390,0% = 5,1


Gráficos descriptivos para una variable (ii)

•Gráfico de cuantiles para verificar el ajuste de los•Gráfico de cuantiles para verificar el ajuste de losdatos a la distribución Normal: (Q-Q Normal)Ej ti l: l d l f n ión d di t ib ión d l N m l

N l P b bilit Pl t

Eje vertical: valores de la función de distribución de la Normal.Recta: gráfico de los valores de la variable con los valores de probabilidad acumulada de ocurrencia según la distribución Normal.

Normal Probability Plot

age

809599

99,9La proximidad de los valores observados a la recta indica que

perc

enta

0,115

205080q

los datos se pueden considerarcon distribución Normal

Copa 10 2 4 6 8

0,1


Gráficos descriptivos para una variable (iii)

Gráficos de cajas (box plot)Gráficos de cajas (box-plot)

2º cuartil 50%Box-and-Whisker Plot 2 cuartil 50%(mediana)Media

Anómalo(outlier)

Copa 10 2 4 6 8

mínMáx.

1er cuartil 25% 3er cuartil 75%


Comparación gráfica de la variable silt (sedimento) enlos distintos puntos de muestreo (1 a 4):

Box-and-Whisker Plot

1

2on 2

3Loca

tio

4

15 25 35 45 55

Silt

T f iTransformaciones

Para modelos de interpolación del tipo regresión, las hipótesis requieren, entre otras condiciones:p q ,

Normalidad de los datos

Homogeneidad en la varianza

Si en el análisis exploratorio no se observa simetría en el Si en el análisis exploratorio no se observa simetría en el histograma y con un contraste de bondad de ajuste (prueba chi-cuadrado o Kolmogorov-Smirnov) se confirma (p g )la falta de normalidad, se tendrá que recurrir a algún tipo de transformación “normalizante” de los datos.

Transformaciones Box-Cox o de potencia

≠−

== 01)( λ

λ

λXYXT

= 0ln)(

λλX

• λ=2, Y=X2

• λ=1/2 Y=X1/2λ 1/2, Y X• Se busca que la variable transformada se

parezca a una distribución normalparezca a una distribución normal

)(~ 2)( σµλ NXY ≡ ),( σµNXY ≡

Ejemplo: X ~ Exp(3)

• Rango: [0, 10] pasos de 0.05.

• La mejor fue λ = 3.05j

Exponencial( 3 ) QQPlot normalizado. Desv. Tipica = 0.364

1.5

Tran. Box-Cox con SD min. QQPlot norm.(lambda = 3.05 , Desv. Tip. = 0.221 )

1.5

X

00.

51.

0

Y

00.

51.

0

Quantiles of Standard Normal

-2 -1 0 1 2

0.


-2 -1 0 1 2

0.

3040

Exponencial( 3 ) Histograma

Lambda vs. Desv. Tipica.(lambda = 3.05 , Desv. Tip. = 0.221 )

0.7

1.0

1020

3

log(

SD

)

0.3

0.5

0

0.0 0.5 1.0 1.5

0

X Lambda

0 2 4 6 8 10

Ejemplo: X ~ Beta(5, 2.5)

• Rango: [-10, 10] pasos de 1.

• La mejor fue λ >= 10j

Beta( 5 , 2.5 ) QQPlot normalizado. Desv. Tipica = 0.165

1.0

Tran. Box-Cox con SD min. QQPlot norm.(lambda = 10 , Desv. Tip. = 0.0138 )

1.0

X

20.

40.

60.

8

Y

20.

40.

60.

8


-2 -1 0 1 2

0.0

0.2


-2 -1 0 1 2

0.0

0.2

Qua t es o Sta da d o a Qua t es o Sta da d o a

2025

Beta( 5 , 2.5 ) Histograma

Lambda vs. Desv. Tipica.(lambda = 10 , Desv. Tip. = 0.0138 )

0^5

10^7

510

152

log(

SD

)

10^1

10^3

10

0.2 0.4 0.6 0.8 1.0

0

X Lambda

-10 -5 0 5 10

10^-

2

Ejemplo: X ~ U(0.01, 1)j p ( , )

• Rango: [-10, 10] pasos de 0.5.

L j f λ > 10• La mejor fue λ >= 10

Uniforme( 0.01 , 1 ) QQPlot normalizado. Desv. Tipica = 0.286

0

Tran. Box-Cox con SD min. QQPlot norm.(lambda = 10 , Desv. Tip. = 0.0222 )

0

X

0.4

0.6

0.8

1.0

Y

0.4

0.6

0.8

1.0

-2 -1 0 1 2

0.0

0.2

-2 -1 0 1 2

0.0

0.2

Quantiles of Standard Normal Quantiles of Standard Normal

1214

Uniforme( 0.01 , 1 ) Histograma

Lambda vs. Desv. Tipica.(lambda = 10 , Desv. Tip. = 0.0222 )

10^1

0

46

810

log(

SD)

10^1

10^4

10^7

0.0 0.2 0.4 0.6 0.8 1.0

02

X Lambda

-10 -5 0 5 10

10^-

21

REFERENCIAS - ENLACES WEB

http://descargas.cervantesvirtual.com/servlet/SirveObras/46860175104026839600080/006458_8.pdf_ pCap.7: Sistemas de Información Geográfica: Pasado, presente y futuro (tesis doctoral)

h / j i / it /SIG Od lT dfwww.geogra.uah.es/~joaquin/curso-quito/SIG-OdelT.pdf

http://ares.unimet.edu.ve/postgrado/mpi002/Estadistica%20Descriptiva/256,1,Estadística DescriptivaEstadística Descriptiva

ttp://www.elagrimensor.net/elearning/lecturas/sig-capitulo%206.pdfInterpolación a partir de mapas e isolíneas (aplicaciones estadísticas a datos p p p ( pgeográficos, diseños de muestreo.,…en región de Murcia)

http://www.ine.gob.mx/ueajei/publicaciones/libros/459/cap3.htmlD ñ d l E l d á ó d Diseños de muestreo para suelos. Ejemplo de sistemático en contaminación de suelos.

www monografías com Elementos de Geoestadística CUADOR GIL J Q www.monografías .com. Elementos de Geoestadística. CUADOR GIL, J.Q. Universidad de Pinar del Río (Cuba).

Exploraci.n de datos [Modo de compatibilidad] - OCW...

Documents

Transcript of Exploraci.n de datos [Modo de compatibilidad] - OCW...