Posts | Franklin Santos

Análisis de Componentes Principales

Wed, 02 Dec 2020 00:00:00 +0000

Introducción

El análisis de componentes principales (PCA) nos permite resumir y visualizar la información en un conjunto de datos que contiene individuos/observaciones descritos por múltiples variables cuantitativas inter-correlacionadas. Cada variable podría considerarse como una dimensión diferente. Si tiene más de 3 variables en sus conjuntos de datos, podría ser muy difícil visualizar un hiperespacio multidimensional.

El análisis de componentes principales se utiliza para extraer la información importante de una tabla de datos multivariados y para expresar esta información como un conjunto de algunas variables nuevas llamadas componentes principales. Estas nuevas variables corresponden a una combinación lineal de las originales. El número de componentes principales es menor o igual al número de variables originales.

La información de un conjunto de datos dado corresponde a la variación total que contiene. El objetivo de PCA es identificar direcciones (o componentes principales) a lo largo de los cuales la variación en los datos es máxima.

En otras palabras, PCA reduce la dimensionalidad de un dato multivariado a dos o tres componentes principales, que se pueden visualizar gráficamente, con una mínima pérdida de información.

En este capítulo, describimos la idea básica de PCA y demostramos cómo calcular y visualizar PCA usando el software R. Además, mostraremos cómo identificar las variables más importantes que explican las variaciones en un conjunto de datos.

En conjunto, el objetivo principal del análisis de componentes principales es:

identificar patrones ocultos en un conjunto de datos,

reducir la dimensionalidad de los datos eliminando el ruido y la redundancia en los datos,

identificar variables correlacionadas

Metodología de análisis

Instale los dos paquetes de la siguiente manera:

install.packages(c("FactoMineR", "factoextra"))

Cargar paquetes en R:

library("FactoMineR")
library("factoextra")

#> Loading required package: ggplot2

#> Welcome! Want to learn more? See two factoextra-related books at https://goo.gl/ve3WBa

Cargando datos

Usaremos los conjuntos de datos de demostración decathlon2 del paquete factoextra:

data(decathlon2)
#head(decathlon2)

De esta base de datos seleccionamos variables cuantitativas para el análisis de componentes principales:

#seleccionamos 27 filas y las primeras 10 variables
decathlon2.active <- decathlon2[1:23, 1:10]
head(decathlon2.active[, 1:7], 4)

#>         X100m Long.jump Shot.put High.jump X400m X110m.hurdle Discus
#> SEBRLE  11.04      7.58    14.83      2.07 49.81        14.69  43.75
#> CLAY    10.76      7.40    14.26      1.86 49.37        14.05  50.72
#> BERNARD 11.02      7.23    14.25      1.92 48.93        14.99  40.87
#> YURKOV  11.34      7.09    15.19      2.10 50.42        15.31  46.26

Código R

Se puede utilizar la función PCA() [paquete FactoMineR]. Un formato simplificado es:

PCA(X, scale.unit = TRUE, ncp = 5, graph = TRUE)

X: un marco de datos. Las filas son individuos y las columnas son variables numéricas

scale.unit: un valor lógico. Si es TRUE, los datos se escalan a la varianza de la unidad antes del análisis. Esta estandarización a la misma escala evita que algunas variables se conviertan en dominantes solo por sus grandes unidades de medida. Hace que la variable sea comparable.

ncp: número de dimensiones mantenidas en los resultados finales.

graph: un valor lógico. Si es TRUE, se muestra un gráfico.

El código R a continuación, calcula el análisis de componentes principales de las variables seleccionadas o activas:

library("FactoMineR")
res.pca <- PCA(decathlon2.active, graph = FALSE)

El objeto que se crea usando la función PCA() contiene mucha información que se encuentra en muchas listas y matrices diferentes. Estos valores se describen en la siguiente sección.

Extraiga y visualice valores propios/varianzas:

Los valores propios o varianzas miden la cantidad de variación retenida por cada componente principal. Las varianzas son grandes para los primeros componentes y pequeños para las siguientes. Es decir, las primeras PC corresponden a las direcciones con la cantidad máxima de variación en el conjunto de datos.

# Extraer valores propios/varianzas
get_eig(res.pca)

#>        eigenvalue variance.percent cumulative.variance.percent
#> Dim.1   4.1242133        41.242133                    41.24213
#> Dim.2   1.8385309        18.385309                    59.62744
#> Dim.3   1.2391403        12.391403                    72.01885
#> Dim.4   0.8194402         8.194402                    80.21325
#> Dim.5   0.7015528         7.015528                    87.22878
#> Dim.6   0.4228828         4.228828                    91.45760
#> Dim.7   0.3025817         3.025817                    94.48342
#> Dim.8   0.2744700         2.744700                    97.22812
#> Dim.9   0.1552169         1.552169                    98.78029
#> Dim.10  0.1219710         1.219710                   100.00000

# Visualizar valores propios/variaciones
fviz_screeplot(res.pca, addlabels = TRUE, ylim = c(0, 50))

La suma de todos los valores propios da una varianza total de 10.

La proporción de variación explicada por cada valor propio se da en la segunda columna. Por ejemplo, 4,124 dividido por 10 es igual a 0,4124, o aproximadamente el 41,24% de la variación se explica por este primer valor propio. El porcentaje acumulado explicado se obtiene sumando las sucesivas proporciones de variación explicadas para obtener el total acumulado. Por ejemplo, 41,242% más 18,385% es igual a 59,627%, y así sucesivamente. Por lo tanto, aproximadamente el 59,627% de la variación se explica por los dos primeros valores propios juntos.

Los valores propios se pueden utilizar para determinar la cantidad de componentes principales que se deben retener después de la PCA (Kaiser 1961):

Un valor propio > 1 indica que los PCs representan más varianza que la contabilizada por una de las variables originales en los datos estandarizados. Esto se usa comúnmente como un punto de corte para el cual se retienen las PCs. Esto es válido solo cuando los datos están estandarizados.

También puede limitar el número de componentes a ese número que representa una cierta fracción de la varianza total. Por ejemplo, si está satisfecho con el 70% de la varianza total explicada, utilice el número de componentes para lograrlo.

Desafortunadamente, no existe una forma objetiva bien aceptada de decidir cuántos componentes principales son suficientes. Esto dependerá del campo de aplicación específico y del conjunto de datos específico. En la práctica, tendemos a mirar los primeros componentes principales para encontrar patrones interesantes en los datos.

En nuestro análisis, los tres primeros componentes principales explican el 72% de la variación. Este es un porcentaje aceptablemente grande.

Gráfica círculo de correlación

La correlación entre una variable y un componente principal (PC) se utiliza como coordenadas de la variable en la PC. La representación de las variables difiere del gráfico de las observaciones: las observaciones están representadas por sus proyecciones, pero las variables están representadas por sus correlaciones (Abdi y Williams 2010).

Es posible controlar los colores de las variables usando sus contribuciones (“contrib”) a los ejes principales:

# Control variable colors using their contributions
fviz_pca_var(res.pca, col.var="contrib",
             gradient.cols = c("#00AFBB", "#E7B800", "#FC4E07"),
             repel = TRUE # Avoid text overlapping
             )

La gráfica anterior también se conoce como gráficas de correlación variable. Muestra las relaciones entre todas las variables. Se puede interpretar de la siguiente manera:

Las variables correlacionadas positivamente se agrupan.
Las variables correlacionadas negativamente se colocan en lados opuestos del origen de la gráfica (cuadrantes opuestos).
La distancia entre las variables y el origen mide la calidad de las variables en el mapa de factores. Las variables que están lejos del origen están bien representadas en el mapa de factores.

Contribucion de las variables a los ejes principales:

# Contributions of variables to PC1
fviz_contrib(res.pca, choice = "var", axes = 1, top = 10)


# Contributions of variables to PC2
fviz_contrib(res.pca, choice = "var", axes = 2, top = 10)

La línea discontinua roja en el gráfico anterior indica la contribución promedio esperada. Si la contribución de las variables fuera uniforme, el valor esperado sería 1/longitud(variables) = 1/10 = 10%. Para un componente dado, una variable con una contribución mayor que este límite podría considerarse importante para contribuir al componente.

Se puede observar que las variables X100m, Long.jump y Pole.vault contribuyen más a las dimensiones 1 y 2.

Biplot

Para hacer un biplot simple de individuos y variables, escriba esto:

# Biplot of individuals and variables
fviz_pca_biplot(res.pca, repel = TRUE)

En biplot, debe centrarse principalmente en la dirección de las variables pero no en sus posiciones absolutas en la gráfica.

En términos generales, un biplot se puede interpretar de la siguiente manera:

un individuo que está en el mismo lado de una variable dada tiene un valor alto para esta variable;
un individuo que está en el lado opuesto de una variable dada tiene un valor bajo para esta variable.

Nota: Este post fue extraido del libro “Multivariate Analisis II”

Referencias

Kassambara A. 2017. Multivariate Analysis: Practical Guide to Principal Component Methods in R.

Extraer y ordenar datos FAOSTAT con Tidyverse

Wed, 18 Nov 2020 00:00:00 +0000

Introducción

Extraer, ordenar y graficar datos es una tarea que demanda tiempo y cierta habilidad informática. Generalmente, muchos investigadores buscamos datos históricos para observar tendencias de rendimiento, producción y superficie cultivada, esto con el propósito de soportar diferentes investigaciones del área. Para realizar estas tareas existen diferentes bases de datos de libre acceso, entre ellos está FAOSTAT. Esta organización proporciona acceso libre a datos sobre alimentación y agricultura de más de 245 países y 35 regiones, desde 1961 hasta el año más reciente disponible.

Los datos de FAOSTAT habitualmente son descargados en planillas de Microsoft Excel y en ésta se va limpiando de forma manual hasta que el resumen de datos sea presentable. Esta actividad requiere tiempo; sin embargo, existen herramientas de programación que pueden automatizar este proceso y reducir tiempo en ordenar datos. Una de ellas es R, la cual es un lenguaje de programación y un ambiente de software libre para la ciencia de datos. Por tanto, nuestro objetivo es extraer y ordenar datos de la página web de FAOSTAT con el uso del paquete Tidyverse en el ambiente R.

Extracción

Para acceder a FAOSTAT, diríjase al sitio web oficial a traves del enlace http://www.fao.org/faostat/en/#home. En la página principal tiene la opción de cambiar el idioma del ingles al español y haga clic en Acceder a los datos. Una vez que acceda a esta ventana, haga clic en cultivos en la sección de Producción, en la cual observará la vista de selección y descargar datos. En esta ventana seleccionamos la base de datos a descargar. Para esto siga los siguientes pasos:

Seleccione países o regiones de interes, en nuestro caso hacemos clic en regiones y elegimos los países de América del Sur.
En la subventana de elementos puede seleccionar Área cosechada (superficie cultivada), Rendimiento y Producción. Para nuestro ejemplo elegimos rendimiento.
El siguiente paso es seleccionar los cultivos o productos de interes. En nuestro caso elegimos cuatro cultivos (arroz, maíz, papa y trigo).
En la última subventana seleccione los Años de interes. Para nuestro ejemplo elegimos todos los años, esto con el propósito de hacer comparación de la tendencia de rendimiento en los países de latinoamérica.
El último paso es descargar los datos seleccionados. Para esto, la salida de datos debe estar seleccionado en formato Tabla, tipo de archivo CSV y hacer clic en Descargar Datos para guardar en un archivo de proyecto.

Ordenación

A partir de esta etapa se usará la consola de R a traves del entorno RStudio. Para ordenar los datos es recomendable usar el paquete tidyverse, la cual es una colección obstinada de paquetes R diseñados para la ciencia de datos. Para instalar use este código install.packages("tidyverse").

Para proceder con la ordenación de datos, analizar y/o generar otro tipo de actividades con R, recomiendo crear un proyecto a traves de RStudio. Esto facilita el flujo de trabajo dentro de R. Posterior a ello, llame al paquete tidyverse:

library(tidyverse)

Para iniciar con el trabajo es necesario que los datos descargados de FAOSTAT se encuentre dentro de los archivos del proyecto.

Para llamar los datos al entorno de R use la siguiente función:

key_crops <- read_csv("FAOSTAT_data_11-18-2020.csv")

Para verificar el marco de datos en el ambiente R, ejecute la variable key_crops.

key_crops

#> # A tibble: 2,657 x 14
#>    `Domain Code` Domain `Area Code` Area  `Element Code` Element `Item Code`
#>    <chr>         <chr>        <dbl> <chr>          <dbl> <chr>         <dbl>
#>  1 QC            Crops            9 Arge…           5419 Yield            56
#>  2 QC            Crops            9 Arge…           5419 Yield            56
#>  3 QC            Crops            9 Arge…           5419 Yield            56
#>  4 QC            Crops            9 Arge…           5419 Yield            56
#>  5 QC            Crops            9 Arge…           5419 Yield            56
#>  6 QC            Crops            9 Arge…           5419 Yield            56
#>  7 QC            Crops            9 Arge…           5419 Yield            56
#>  8 QC            Crops            9 Arge…           5419 Yield            56
#>  9 QC            Crops            9 Arge…           5419 Yield            56
#> 10 QC            Crops            9 Arge…           5419 Yield            56
#> # … with 2,647 more rows, and 7 more variables: Item <chr>, `Year Code` <dbl>,
#> #   Year <dbl>, Unit <chr>, Value <dbl>, Flag <chr>, `Flag Description` <chr>

En esta salida puede observar 2657 filas u observaciones y 14 columnas o variables. Asimismo, puede verificar los formatos de cada variable. Esta base de datos no facilita el uso apropiado para realizar un resumen descriptivo o generar gráficas para observar tendencias.

Ordenando base de datos

Para este proceso se identificó que la columna de Area contiene países de América del Sur; sin embargo, en estas obsevarciones Bolivia tiene texto adicional “Bolivia (Plurinational State of)”. Para eliminar el texto adicional se usa la función separate(Area, c("country"), sep = " "), el mismo proceso se aplica para Rice, paddy en la columa de cultivos Item. A partir de la columna Value se creó otra columna mutate(yield = Value / 10000), en la cual se hizo la conversión de hectogramos (hg ha^-1) a toneladas (t ha^-1). El siguiente paso fue seleccionar cuatro variables de la base de datos select(country, crop, Year, yield) y al finalizar este proceso se filtró los países más próximos a Bolivia.

long_crops <- key_crops %>% 
  separate(Area, c("country"), sep = " ") %>%
  separate(Item, c("crop"), sep = ",") %>%
  mutate(yield = Value / 10000) %>%
  select(country, crop, Year, yield) %>%
  filter(country %in% c("Argentina", 
                        "Bolivia", 
                        "Brazil",
                        "Chile",
                        "Paraguay",
                        "Peru",
                        "Uruguay")
  )

Podemos observar los datos ordenados ejecutando long_crops

long_crops

#> # A tibble: 1,624 x 4
#>    country   crop   Year yield
#>    <chr>     <chr> <dbl> <dbl>
#>  1 Argentina Maize  1961  1.77
#>  2 Argentina Maize  1962  1.89
#>  3 Argentina Maize  1963  1.65
#>  4 Argentina Maize  1964  1.80
#>  5 Argentina Maize  1965  1.68
#>  6 Argentina Maize  1966  2.15
#>  7 Argentina Maize  1967  2.47
#>  8 Argentina Maize  1968  1.94
#>  9 Argentina Maize  1969  1.93
#> 10 Argentina Maize  1970  2.33
#> # … with 1,614 more rows

Estos datos tienen 1624 filas y 4 columnas, las cuales estan ordenadas y listas para generar gráficas interactivas o estáticas.

Graficando los datos

Generar gráficas es muy importante, ya que es más cómodo interpretar, analizar tendencias o identificar asociaciones. Debido a ello, se realizó una figura multipanel.

long_crops %>%
  ggplot(aes(Year, yield, color = country)) +
  geom_line() +
  facet_wrap(~crop, ncol = 2) +
  labs(x = "Year", y = "Yield (t ha)")

En la figura, se observa tendencias de rendimiento a traves del tiempo que corresponden para los cuatro cultivos. Por ejemplo, el rendimiento de papa en Argentina tiende a incrmentar 10 t ha^-1 cada 20 años; sin embargo, en Bolivia las tendencias de rendimiento son constantes o sea no hay un incremento pronunciado a compararación de los países vecinos.

También se puede realizar una gráfica para el último año. Para ello, se filtró el año 2018 de la base de datos long_crops con la función filter(Year == 2018). Con estos datos, se generó una gráfica de barras.

yearfs <- long_crops %>%
  filter(Year == 2018)

# seleccion de tema para la gráfica
theme_set(
  theme_classic() +
    theme(legend.position = "top")
)

#Generando gráfica de barras
ggplot(yearfs, aes(x=country, y=yield, fill=crop)) +
  geom_bar(stat="identity", position = position_dodge()) +
  labs(x = "Países", y = "Yield (t ha)")

En esta figura se puede observar rendimientos de cuatro cultivos para el año 2018. En la cual, Argentina, Chile y Brasil tuvieron mayores rendimientos en el cultivo de papa; sin embargo, Bolivia se ubica en el último puesto en cuanto a rendimientos en los cuatro cultivos.

Conclusión

Los usuarios de R pueden generar scripts reproducibles a base de este post. Extraer, ordenar y graficar datos con R, facilita obtener datos limpios y es más eficiente con los tiempos de trabajo.

Análisis de Varianza y Prueba de Promedios en R

Tue, 10 Nov 2020 00:00:00 +0000

Introducción

El análisis de varianza es una prueba estadística para determinar si dos o más medias poblacionales son diferentes entre si. En otras palabras, se usa para comparar dos o más grupos para ver si son significativamente diferentes.

En el resto del post lo comentaremos desde un punto de vista más práctico y en particular abordaremos los siguientes puntos:

el objetivo del análisis de varianza y cuándo debe usarse
cómo realizar el ANVA en R
cómo interpretar los resultados del ANVA
comprender la noción de prueba de promedios e interpretar los resultados
cómo visualizar los resultados de ANVA y pruebas de promedio

Datos

El dato que se utilizará es iris, que se encuentra en la base de datos de R. Estos datos como tratamientos tienen tres especies (setosa, versicolor y virginica) y cuatro variables (Sepal.Length, Sepal.Width, Petal.Length y Petal.Width) cuantitativas

#paquetes R a utilizar
library(tidyverse)
library(easyanova)
library(car)
library(lattice)
library(multcomp)
library(ggpubr)
library(rstatix)

La librería de easyanova es un paquete para realizar análisis de experimentos agrícolas y animales. Las funciones de esta librería son fáciles de usar. Realiza análisis en varios diseños, con datos balanceados y no balanceados.

Salida de datos a utilizar:

#datos
tibble(iris)

#> # A tibble: 150 x 5
#>    Sepal.Length Sepal.Width Petal.Length Petal.Width Species
#>           <dbl>       <dbl>        <dbl>       <dbl> <fct>  
#>  1          5.1         3.5          1.4         0.2 setosa 
#>  2          4.9         3            1.4         0.2 setosa 
#>  3          4.7         3.2          1.3         0.2 setosa 
#>  4          4.6         3.1          1.5         0.2 setosa 
#>  5          5           3.6          1.4         0.2 setosa 
#>  6          5.4         3.9          1.7         0.4 setosa 
#>  7          4.6         3.4          1.4         0.3 setosa 
#>  8          5           3.4          1.5         0.2 setosa 
#>  9          4.4         2.9          1.4         0.2 setosa 
#> 10          4.9         3.1          1.5         0.1 setosa 
#> # … with 140 more rows

#inspección de datos
ggplot(iris) +
  aes(x = Species, y = Sepal.Width, color = Species) +
  geom_jitter() +
  theme(legend.position = "none")

Objetivo del ANVA

Como se mencionó en la introducción, el ANVA se usa para comparar grupos (en la práctica, 3 o más grupos). De manera más general, se utiliza para:

estudiar si las mediciones son similares en diferentes modalidades (también llamadas niveles o tratamientos en el contexto de ANVA) de una variable categórica
comparar el impacto de los diferentes niveles de una variable categórica sobre una variable cuantitativa
explicar una variable cuantitativa basada en una variable cualitativa

Supuestos subyacentes de ANVA

Como ocurre con muchas pruebas estadísticas, hay algunas suposiciones que deben cumplirse para poder interpretar los resultados. Cuando no se cumplen uno o varios supuestos, aunque técnicamente es posible realizar estas pruebas, sería incorrecto interpretar los resultados y confiar en las conclusiones.

1. Tipo de variable

Las variables dependientes Sepal.Length, Sepal.Width, Petal.Length y Petal.Width es una variable cuantitativa y la variable independiente Species es cualitativa (con 3 niveles correspondientes a las 3 especies). Así que tenemos una combinación de los dos tipos de variables y se cumple este supuesto.

2. Independencia

Se asume la independencia de las observaciones ya que los datos se han recopilado de una parte de la población seleccionada al azar y las mediciones dentro y entre las 3 muestras no están relacionadas.

El supuesto de independencia se verifica con mayor frecuencia con base en el diseño del experimento y en el buen control de las condiciones experimentales, como es el caso aquí. Sin embargo, si realmente desea probarlo de manera más formal, puede probarlo mediante una prueba estadística: la prueba de Durbin-Watson (en R: durbinWatsonTest(res_lm) donde res_lm es un modelo lineal). La hipótesis nula de esta prueba especifica un coeficiente de autocorrelación = 0, mientras que la hipótesis alternativa especifica un coeficiente de autocorrelación ≠ 0.

3. Normalidad

Recuerde que la normalidad de los residuos se puede probar visualmente mediante un histograma y un gráfico QQ, y/o formalmente mediante una prueba de normalidad (prueba de Shapiro-Wilk, por ejemplo).

Antes de verificar el supuesto de normalidad, primero debemos calcular el ANVA. Luego guardamos los resultados en res_aov:

res_aov <- aov(Sepal.Width ~ Species,
  data = iris
)

Ahora podemos comprobar la normalidad visualmente:

par(mfrow = c(1, 2)) # combine plots

# histogram
hist(res_aov$residuals)

# QQ-plot
qqPlot(res_aov$residuals,
  id = FALSE # id = FALSE to remove point identification
)

A partir del histograma y el gráfico QQ anteriores, ya podemos ver que el supuesto de normalidad parece cumplirse. De hecho, el histograma forma aproximadamente una curva de campana, lo que indica que los residuos siguen una distribución normal. Además, los puntos en las gráficas QQ siguen aproximadamente la línea recta y la mayoría de ellos están dentro de las bandas de confianza, lo que también indica que los residuos siguen aproximadamente una distribución normal.

Algunos investigadores se detienen aquí y asumen que se cumple la normalidad, mientras que otros también prueban la suposición a través de una prueba estadística formal. Es su elección probarlo (i) solo visualmente, (ii) solo a través de una prueba de normalidad, o (iii) tanto visualmente como a través de una prueba de normalidad. Sin embargo, tenga en cuenta los dos puntos siguientes:

ANVA es bastante robusto a pequeñas desviaciones de la normalidad. Esto significa que no es un problema (desde la perspectiva de la interpretación de los resultados de ANVA) si un pequeño número de puntos se desvía ligeramente de la normalidad,

Las pruebas de normalidad son a veces bastante conservadoras, lo que significa que la hipótesis nula de normalidad puede rechazarse debido a una desviación limitada de la normalidad. Este es especialmente el caso con muestras grandes, ya que la potencia de la prueba aumenta con el tamaño de la muestra.

En la práctica, se tiende a preferir el (i) enfoque visual solamente, pero nuevamente, esto es una cuestión de elección personal y también depende del contexto del análisis. Tambien, puede utilizar la prueba de Shapiro-Wilk o la prueba de Kolmogorov-Smirnov, entre otras.

4. Igualdad de varianzas - homogeneidad

Suponiendo que los residuos siguen una distribución normal, ahora es el momento de comprobar si las varianzas son iguales entre especies o no. El resultado tendrá un impacto en si usamos el ANVA o la prueba de Welch.

Esto se puede verificar nuevamente visualmente, a través de una gráfica de caja o gráfica de puntos, o más formalmente a través de una prueba estadística (la prueba de Levene, entre otras).

Visualmente tenemos:

# Boxplot
boxplot(Sepal.Width ~ Species,
  data = iris
)

# Dotplot

dotplot(Sepal.Width ~ Species,
  data = iris
)

Tanto la gráfica de boxplot como la gráfica de puntos muestran una variación similar para las diferentes especies. En el boxplot, esto se puede ver por el hecho de que las cajas y los bigotes tienen un tamaño comparable para todas las especies. Hay un par de valores atípicos como lo muestran los puntos fuera de los bigotes, pero esto no cambia el hecho de que la dispersión es más o menos la misma entre las diferentes especies.

En la gráfica de puntos, esto se puede ver por el hecho de que los puntos para las 3 especies tienen más o menos el mismo rango, un signo de la dispersión y, por lo tanto, la varianza es similar.

Al igual que el supuesto de normalidad, si cree que el enfoque visual no es suficiente, puede probar formalmente la igualdad de las varianzas con una prueba de Levene o de Bartlett. Observe que la prueba de Levene es menos sensible a las desviaciones de la distribución normal que la prueba de Bartlett.

Las hipótesis nula y alternativa para ambas pruebas son:

H0: las variaciones son iguales
H1: al menos una varianza es diferente

En R, la prueba de Levene se puede realizar gracias a la función leveneTest() del paquete {car}:

# Levene's test

leveneTest(Sepal.Width ~ Species,
  data = iris
)

#> Levene's Test for Homogeneity of Variance (center = median)
#>        Df F value Pr(>F)
#> group   2  0.5902 0.5555
#>       147

Siendo el p-valor mayor que el nivel de significancia de 0.05, no rechazamos la hipótesis nula, por lo que no podemos rechazar la hipótesis de que las varianzas son iguales entre especies (p-valor = 0.556).

Este resultado también está en línea con el enfoque visual, por lo que la homogeneidad de las variaciones se cumple tanto visual como formalmente.

Análisis de varianza en R

El ANVA puede ayudarnos a hacer inferencias sobre la población dada la muestra en cuestión y ayudarnos a responder la pregunta de investigación “¿Existe diferencia en ancho de sépalo para las 3 especies?".

El ANVA en R se puede realizar de varias formas, de las cuales tres se presentan a continuación:

a). Con la función oneway.test():

# primer metodo:
oneway.test(Sepal.Width ~ Species,
  data = iris,
  var.equal = TRUE # asumiendo varianzas iguales
)

#> 
#>   One-way analysis of means
#> 
#> data:  Sepal.Width and Species
#> F = 49.16, num df = 2, denom df = 147, p-value < 2.2e-16

b). Con las funciones de summary() y aov():

# 2nd method:
res_aov <- aov(Sepal.Width ~ Species,
  data = iris
)

summary(res_aov)

#>              Df Sum Sq Mean Sq F value Pr(>F)    
#> Species       2  11.35   5.672   49.16 <2e-16 ***
#> Residuals   147  16.96   0.115                   
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Como puede ver en los dos resultados anteriores, la estadística de prueba (F = en el primer método y el valor F en el segundo) y el p-valor (p-valor en el primer método y Pr (> F) en el segundo) son exactamente iguales para ambos métodos, lo que significa que en caso de variaciones iguales, los resultados y las conclusiones no cambiarán.

La ventaja del primer método es que es fácil cambiar del ANVA (utilizado cuando las variaciones son iguales) a la prueba de Welch (utilizado cuando las variaciones son desiguales). Esto se puede hacer reemplazando nvar.equal = TRUE por var.equal = FALSE, como se presenta a continuación:

oneway.test(Sepal.Width ~ Species,
  data = iris,
  var.equal = FALSE # asumiendo variaciones desiguales
)

#> 
#>   One-way analysis of means (not assuming equal variances)
#> 
#> data:  Sepal.Width and Species
#> F = 45.012, num df = 2.000, denom df = 97.402, p-value = 1.433e-14

Sin embargo, la ventaja del segundo método es que:

Se imprime la tabla ANVA completa (con grados de libertad, cuadrados medios, etc.), lo que puede ser de interés en algunos casos (teóricos).
los resultados del ANVA (res_aov) se pueden guardar para su uso posterior (especialmente útil para pruebas de promedio)

Interpretaciones de los resultados del ANVA

Dado que el p-valor es menor que 0.05, rechazamos la hipótesis nula, por lo que rechazamos la hipótesis de que todas las medias son iguales. Por tanto, podemos concluir que al menos una especie es diferente a las otras en términos del ancho de sépalo (p-valor <2.2e-16).

¿Que sigue?

Si no se rechaza la hipótesis nula (p-valor ≥ 0,05), significa que no rechazamos la hipótesis de que todos los grupos son iguales. El ANVA más o menos se detiene aquí. Por supuesto, se pueden realizar otros tipos de análisis, pero, dados los datos disponibles, no pudimos probar que al menos un grupo fuera diferente, por lo que generalmente no avanzamos más con el ANVA.

Por el contrario, si y solo si se rechaza la hipótesis nula (como es nuestro caso ya que el p-valor < 0.05), probamos que al menos un grupo es diferente. Podemos decidir detenernos aquí si solo estamos interesados en probar si todas las especies son iguales en términos de ancho de sépalo.

Pero la mayoría de las veces, cuando demostramos gracias a un ANVA que al menos un grupo es diferente, también nos interesa saber cuál es diferente. Para probar esto, necesitamos usar otros tipos de prueba, denominados pruebas de promedio o pruebas de comparación múltiple por pares. Esta familia de pruebas estadísticas es el tema de las siguientes secciones.

Pruebas de promedio en R y su interpretación

Las pruebas de promedio son una familia de pruebas estadísticas, por lo que hay varias. Las más utilizadas son las pruebas Tukey HSD y Dunnett:

Tukey HSD se utiliza para comparar todos los grupos entre sí (por lo que todas las posibles comparaciones de 2 grupos).
Dunnett se utiliza para hacer comparaciones con un grupo de referencia. Por ejemplo, considere 2 grupos de tratamiento y un grupo de control. Si solo desea comparar los 2 grupos de tratamiento con respecto al grupo de control y no desea comparar los 2 grupos de tratamiento entre sí, se prefiere la prueba de Dunnett.

Ambas pruebas se presentan en las siguientes secciones.

Prueba de Tukey HSD

En nuestro caso, dado que no existe una especie de “referencia” y nos interesa comparar todas las especies, vamos a utilizar la prueba de Tukey HSD.

En R, la prueba de Tukey HSD se realiza de la siguiente manera. Aquí es donde el segundo método para realizar el ANVA resulta útil porque los resultados (res_aov) se reutilizan para la prueba de promedios:


# Prueba de Tukey HSD:
post_test <- glht(res_aov,
  linfct = mcp(Species = "Tukey")
)
summary(post_test)

#> 
#>    Simultaneous Tests for General Linear Hypotheses
#> 
#> Multiple Comparisons of Means: Tukey Contrasts
#> 
#> 
#> Fit: aov(formula = Sepal.Width ~ Species, data = iris)
#> 
#> Linear Hypotheses:
#>                             Estimate Std. Error t value Pr(>|t|)    
#> versicolor - setosa == 0    -0.65800    0.06794  -9.685  < 1e-04 ***
#> virginica - setosa == 0     -0.45400    0.06794  -6.683  < 1e-04 ***
#> virginica - versicolor == 0  0.20400    0.06794   3.003  0.00875 ** 
#> ---
#> Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
#> (Adjusted p values reported -- single-step method)

En el resultado de la prueba Tukey HSD, nos interesa la tabla que se muestra después de las Hipótesis lineales: más precisamente, en la primera y última columna de la tabla. La primera columna muestra las comparaciones que se han realizado; la última columna (Pr(>|t|)) muestra los p-valores ajustados para cada comparación (con la hipótesis nula siendo los dos grupos iguales y la hipótesis alternativa siendo los dos grupos diferentes).

Son estos p-valores ajustados los que se utilizan para probar si dos grupos son significativamente diferentes o no. En nuestro ejemplo, probamos:

versicolor vs setosa (línea versicolor - setosa == 0)
virginica vs setosa (línea virginica - setosa == 0)
virginica vs versicolor (línea virginica - versicolor == 0)

Los tres p-valores son menores que 0.05, por lo que rechazamos la hipótesis nula para todas las comparaciones, lo que significa que todas las especies son significativamente diferentes en términos de ancho de sépalo.

Tenga en cuenta que la prueba Tukey HSD también se puede realizar en R con la función TukeyHSD():

TukeyHSD(res_aov)

#>   Tukey multiple comparisons of means
#>     95% family-wise confidence level
#> 
#> Fit: aov(formula = Sepal.Width ~ Species, data = iris)
#> 
#> $Species
#>                        diff         lwr        upr     p adj
#> versicolor-setosa    -0.658 -0.81885528 -0.4971447 0.0000000
#> virginica-setosa     -0.454 -0.61485528 -0.2931447 0.0000000
#> virginica-versicolor  0.204  0.04314472  0.3648553 0.0087802

Con este código, es la columna p adj (también la última columna) la que interesa. Tenga en cuenta que las conclusiones son las mismas que las anteriores: todas las especies son significativamente diferentes en términos de ancho de sépalo.

Visualización de ANVA y pruebas de promedio

Para realizar de forma más fácil un análisis de varianza, se puede usar la librería easyanova para analizar diferentes diseños experimentales.

Análisis de varianza con `easyanova`

Para proceder con ANVA los datos de iris se selecciona y ordena para dar uso con el paquete easyanova.

fsdata <- iris %>%
  dplyr::select(Species, Sepal.Width)
tibble(fsdata)

#> # A tibble: 150 x 2
#>    Species Sepal.Width
#>    <fct>         <dbl>
#>  1 setosa          3.5
#>  2 setosa          3  
#>  3 setosa          3.2
#>  4 setosa          3.1
#>  5 setosa          3.6
#>  6 setosa          3.9
#>  7 setosa          3.4
#>  8 setosa          3.4
#>  9 setosa          2.9
#> 10 setosa          3.1
#> # … with 140 more rows

# Análisis de varianza para DCA

r1 <- ea1(data = fsdata, # Base de datos
          design = 1, # Diseño experimental: 1=DCA, 2=DBCA, etc.
          alpha = 0.05) # Probabilidad estadística

r1

#> $`Analysis of variance`
#>             df type I SS mean square F value    p>F
#> treatments   2   11.3449      5.6725   49.16 <0.001
#> Residuals  147   16.9620      0.1154       -      -
#> 
#> $Means
#>    treatment  mean standard.error tukey snk duncan t scott_knott
#> 1     setosa 3.428          0.048     a   a      a a           a
#> 2  virginica 2.974          0.048     b   b      b b           b
#> 3 versicolor 2.770          0.048     c   c      c c           c
#> 
#> $`Multiple comparison test`
#>                     pair contrast p(tukey) p(snk) p(duncan)   p(t)
#> 1     setosa - virginica    0.454   0.0000 0.0000    0.0000 0.0000
#> 2    setosa - versicolor    0.658   0.0000 0.0000    0.0000 0.0000
#> 3 virginica - versicolor    0.204   0.0087 0.0031    0.0031 0.0031
#> 
#> $`Residual analysis`
#> $`Residual analysis`$`residual analysis`
#>                                values
#> p.value Shapiro-Wilk test      0.3230
#> p.value Bartlett test          0.3515
#> coefficient of variation (%)  11.1100
#> first value most discrepant   42.0000
#> second value most discrepant  16.0000
#> third value most discrepant  118.0000
#> 
#> $`Residual analysis`$residuals
#>      1      2      3      4      5      6      7      8      9     10     11 
#>  0.072 -0.428 -0.228 -0.328  0.172  0.472 -0.028 -0.028 -0.528 -0.328  0.272 
#>     12     13     14     15     16     17     18     19     20     21     22 
#> -0.028 -0.428 -0.428  0.572  0.972  0.472  0.072  0.372  0.372 -0.028  0.272 
#>     23     24     25     26     27     28     29     30     31     32     33 
#>  0.172 -0.128 -0.028 -0.428 -0.028  0.072 -0.028 -0.228 -0.328 -0.028  0.672 
#>     34     35     36     37     38     39     40     41     42     43     44 
#>  0.772 -0.328 -0.228  0.072  0.172 -0.428 -0.028  0.072 -1.128 -0.228  0.072 
#>     45     46     47     48     49     50     51     52     53     54     55 
#>  0.372 -0.428  0.372 -0.228  0.272 -0.128  0.430  0.430  0.330 -0.470  0.030 
#>     56     57     58     59     60     61     62     63     64     65     66 
#>  0.030  0.530 -0.370  0.130 -0.070 -0.770  0.230 -0.570  0.130  0.130  0.330 
#>     67     68     69     70     71     72     73     74     75     76     77 
#>  0.230 -0.070 -0.570 -0.270  0.430  0.030 -0.270  0.030  0.130  0.230  0.030 
#>     78     79     80     81     82     83     84     85     86     87     88 
#>  0.230  0.130 -0.170 -0.370 -0.370 -0.070 -0.070  0.230  0.630  0.330 -0.470 
#>     89     90     91     92     93     94     95     96     97     98     99 
#>  0.230 -0.270 -0.170  0.230 -0.170 -0.470 -0.070  0.230  0.130  0.130 -0.270 
#>    100    101    102    103    104    105    106    107    108    109    110 
#>  0.030  0.326 -0.274  0.026 -0.074  0.026  0.026 -0.474 -0.074 -0.474  0.626 
#>    111    112    113    114    115    116    117    118    119    120    121 
#>  0.226 -0.274  0.026 -0.474 -0.174  0.226  0.026  0.826 -0.374 -0.774  0.226 
#>    122    123    124    125    126    127    128    129    130    131    132 
#> -0.174 -0.174 -0.274  0.326  0.226 -0.174  0.026 -0.174  0.026 -0.174  0.826 
#>    133    134    135    136    137    138    139    140    141    142    143 
#> -0.174 -0.174 -0.374  0.026  0.426  0.126  0.026  0.126  0.126  0.126 -0.274 
#>    144    145    146    147    148    149    150 
#>  0.226  0.326  0.026 -0.474  0.026  0.426  0.026 
#> 
#> $`Residual analysis`$`standardized residuals`
#>           1           2           3           4           5           6 
#>  0.21339641 -1.26852308 -0.67575529 -0.97213918  0.50978030  1.39893200 
#>           7           8           9          10          11          12 
#> -0.08298749 -0.08298749 -1.56490698 -0.97213918  0.80616420 -0.08298749 
#>          13          14          15          16          17          18 
#> -1.26852308 -1.26852308  1.69531589  2.88085148  1.39893200  0.21339641 
#>          19          20          21          22          23          24 
#>  1.10254810  1.10254810 -0.08298749  0.80616420  0.50978030 -0.37937139 
#>          25          26          27          28          29          30 
#> -0.08298749 -1.26852308 -0.08298749  0.21339641 -0.08298749 -0.67575529 
#>          31          32          33          34          35          36 
#> -0.97213918 -0.08298749  1.99169979  2.28808369 -0.97213918 -0.67575529 
#>          37          38          39          40          41          42 
#>  0.21339641  0.50978030 -1.26852308 -0.08298749  0.21339641 -3.34321036 
#>          43          44          45          46          47          48 
#> -0.67575529  0.21339641  1.10254810 -1.26852308  1.10254810 -0.67575529 
#>          49          50          51          52          53          54 
#>  0.80616420 -0.37937139  1.27445076  1.27445076  0.97806686 -1.39300432 
#>          55          56          57          58          59          60 
#>  0.08891517  0.08891517  1.57083466 -1.09662042  0.38529907 -0.20746873 
#>          61          62          63          64          65          66 
#> -2.28215601  0.68168296 -1.68938822  0.38529907  0.38529907  0.97806686 
#>          67          68          69          70          71          72 
#>  0.68168296 -0.20746873 -1.68938822 -0.80023652  1.27445076  0.08891517 
#>          73          74          75          76          77          78 
#> -0.80023652  0.08891517  0.38529907  0.68168296  0.08891517  0.68168296 
#>          79          80          81          82          83          84 
#>  0.38529907 -0.50385263 -1.09662042 -1.09662042 -0.20746873 -0.20746873 
#>          85          86          87          88          89          90 
#>  0.68168296  1.86721855  0.97806686 -1.39300432  0.68168296 -0.80023652 
#>          91          92          93          94          95          96 
#> -0.50385263  0.68168296 -0.50385263 -1.39300432 -0.20746873  0.68168296 
#>          97          98          99         100         101         102 
#>  0.38529907  0.38529907 -0.80023652  0.08891517  0.96621151 -0.81209188 
#>         103         104         105         106         107         108 
#>  0.07705981 -0.21932408  0.07705981  0.07705981 -1.40485967 -0.21932408 
#>         109         110         111         112         113         114 
#> -1.40485967  1.85536320  0.66982761 -0.81209188  0.07705981 -1.40485967 
#>         115         116         117         118         119         120 
#> -0.51570798  0.66982761  0.07705981  2.44813099 -1.10847578 -2.29401137 
#>         121         122         123         124         125         126 
#>  0.66982761 -0.51570798 -0.51570798 -0.81209188  0.96621151  0.66982761 
#>         127         128         129         130         131         132 
#> -0.51570798  0.07705981 -0.51570798  0.07705981 -0.51570798  2.44813099 
#>         133         134         135         136         137         138 
#> -0.51570798 -0.51570798 -1.10847578  0.07705981  1.26259540  0.37344371 
#>         139         140         141         142         143         144 
#>  0.07705981  0.37344371  0.37344371  0.37344371 -0.81209188  0.66982761 
#>         145         146         147         148         149         150 
#>  0.96621151  0.07705981 -1.40485967  0.07705981  1.26259540  0.07705981

En la salida se puede observar el resultado de análisis de varianza, prueba de promedios y comparación múltiple de medias. Estas salidas son muy fáciles de obtener y poder interpretar las mismas. Asimismo, se puede verificar la normalidad y coeficiente de variación de los datos.

Visualización de la prueba de promedios

Si está interesado en incluir resultados de ANVA y pruebas de promedio directamente en los boxplot, aquí hay un fragmento de código que puede ser de su interés:

#paquete para p-valor en la visualización de prueba de promedios

dat <- iris
# Editar desde aquí
x <- which(names(dat) == "Species") #variable de agrupación
y <- which(names(dat) == "Sepal.Width") #variables para la prueba de promedios
          #| names(dat) == "Sepal.Length"
          #| names(dat) == "Petal.Length"
          #| names(dat) == "Petal.Width")
method1 <- "anova" # Una de "anova" o "kruskal.test"
method2 <- "t.test" # Una de "wilcox.test" o "t.test"
my_comparisons <- list(c("setosa", "versicolor"), c("setosa", "virginica"), c("versicolor", "virginica")) # comparaciones para pruebas de promedio
# Editar hasta aquí

# Edit at your own risk
for (i in y) {
  for (j in x) {
    p <- ggboxplot(dat,
      x = colnames(dat[j]), y = colnames(dat[i]),
      color = colnames(dat[j]),
      legend = "none",
      palette = "npg",
      add = "jitter"
    )
    print(
      p + stat_compare_means(aes(label = paste0(..method.., ", p-value = ", ..p.format..)),
        method = method1, label.y = max(dat[, i], na.rm = TRUE)
      )
      + stat_compare_means(comparisons = my_comparisons, method = method2, label = "p.format") # remove if p-value of ANOVA or Kruskal-Wallis test >= alpha
    )
  }
}

Otra opción de gráfica para observar la significancia entre las medias de cada par de especies.

# pairwise comparisons

pwc <- fsdata %>%
  pairwise_t_test(
    Sepal.Width ~ Species, pool.sd = FALSE,
    p.adjust.method = "none"
    )

# Visualization: box plots with p-values
pwc <- pwc %>% add_xy_position(x = "Species")
ggboxplot(fsdata, x = "Species", y = "Sepal.Width",
          color = "Species", 
          legend = "none", 
          add = "jitter") +
  stat_pvalue_manual(pwc, hide.ns = TRUE)

Conclusión

La figura de prueba de promedios es muy buena opción para incluir en la sección de resultados de los reportes de investigación. La figura incluye el resultado de p-valor del análisis de varianza, además, p-valor para la comparación de medias entre especies o tratamientos de la investigación.

Referencias

R bloggers 2020. ANOVA in R
Soetewey A. 2020. How to do a t-test or ANOVA for more than one variable at once in R

Análisis de correspondencia con R

Sat, 07 Nov 2020 00:00:00 +0000

Introducción

El análisis de correspondencia (CA) es una extensión del análisis de componentes principales (Capítulo 4) adecuado para explorar relaciones entre variables cualitativas (o datos categóricos). Al igual que el análisis de componentes principales, proporciona una solución para resumir y visualizar conjuntos de datos en gráficos de dos dimensiones.

Aquí, describimos el análisis de correspondencia simple, que se utiliza para analizar frecuencias formadas por dos datos categóricos, una tabla de datos conocida como tabla de contingencia, tambien se conoce como tablas cruzadas. Proporciona puntuaciones de factores (coordenadas) para los puntos de fila y columna de la tabla de contingencia. Estas coordenadas se utilizan para visualizar gráficamente la asociación entre elementos de fila y columna en la tabla de contingencia.

Al analizar una tabla de contingencia bidireccional, una pregunta típica es si ciertos elementos de fila están asociados con algunos elementos de elementos de columna. El análisis de correspondencia es un enfoque geométrico para visualizar las filas y columnas de una tabla de contingencia bidireccional como puntos en un espacio de baja dimensión, de modo que las posiciones de los puntos de fila y columna sean consistentes con sus asociaciones en la tabla. El objetivo es tener una visión global de los datos que sea útil para la interpretación.

En el capítulo actual, mostraremos cómo calcular e interpretar el análisis de correspondencia usando dos paquetes R: i) FactoMineR para el análisis y ii) factoextra para la visualización de datos. Además, mostraremos cómo revelar las variables más importantes que explican las variaciones en un conjunto de datos.

Procedimiento computacional en R

Cargar paquetes

library(FactoMineR)
library(factoextra)

#> Loading required package: ggplot2

#> Welcome! Want to learn more? See two factoextra-related books at https://goo.gl/ve3WBa

Formato de datos

Los datos deben ser una tabla de contingencia (resultados de tablas cruzadas). Usaremos los conjuntos de datos de demostración de tareas domésticas disponibles en el paquete factoextra R.

data(housetasks)

Los datos son una tabla de contingencia que contiene 13 tareas del hogar y su reparto en la pareja:

las filas son las diferentes tareas
Los valores son las frecuencias de las tareas realizadas:
- solo por la esposa “wife only”
- alternativamente “Alternating”
- solo por el marido “husband only”
- o conjuntamente "jointly

Los datos se ilustran en la siguiente salida:

#>            Wife Alternating Husband Jointly
#> Laundry     156          14       2       4
#> Main_meal   124          20       5       4
#> Dinner       77          11       7      13
#> Breakfeast   82          36      15       7
#> Tidying      53          11       1      57
#> Dishes       32          24       4      53
#> Shopping     33          23       9      55
#> Official     12          46      23      15
#> Driving      10          51      75       3
#> Finances     13          13      21      66
#> Insurance     8           1      53      77
#> Repairs       0           3     160       2
#> Holidays      0           1       6     153

Gráfica de tablas de contingencia y prueba de chi-cuadrado

La tabla de contingencia anterior no es muy grande. Por lo tanto, es fácil inspeccionar e interpretar visualmente los perfiles de filas y columnas:

Es evidente que las tareas de la casa (lavandería, comida principal y cena) las realiza con más frecuencia la “esposa”.
Las reparaciones y la conducción las realiza predominantemente el marido.
Los días festivos se asocian con frecuencia con la columna “conjuntamente”

El análisis de datos exploratorios y la visualización de tablas de contingencia se cubrieron en nuestro artículo anterior: Prueba de independencia de chi-cuadrado en R. Brevemente, la tabla de contingencia se puede visualizar utilizando las funciones balloonplot() [paquete gplots] y mosaicplot() [paquete graphics]:

library(gplots)

#> 
#> Attaching package: 'gplots'

#> The following object is masked from 'package:stats':
#> 
#>     lowess

#1. Convierte el dato como una tabla
dt <- as.table(as.matrix(housetasks))
# 2. Graph
balloonplot(t(dt), main ="housetasks", xlab ="", ylab="",
            label = FALSE, show.margins = FALSE)

Tenga en cuenta que las sumas de filas y columnas se imprimen de forma predeterminada en los márgenes inferior y derecho, respectivamente. Estos valores están ocultos, en el gráfico anterior, utilizando el argumento show.margins = FALSE.

Para una tabla de contingencia pequeña, puede utilizar la prueba de chi-cuadrado para evaluar si existe una dependencia significativa entre las categorías de filas y columnas:

chisq <- chisq.test(housetasks)
chisq

#> 
#>   Pearson's Chi-squared test
#> 
#> data:  housetasks
#> X-squared = 1944.5, df = 36, p-value < 2.2e-16

En nuestro ejemplo, las variables de fila y columna están asociadas de manera estadísticamente significativa (*valor p* = r chisq$p.value).

Código R para calcular CA (Analisis de Correspondencia)

Se puede utilizar la función CA() [paquete FactoMiner]. Un formato simplificado es:

CA(X, ncp = 5, graph = TRUE)

X: es un marco de datos (tabla de contingencia)

ncp: número de dimensiones mantenidas en los resultados finales.

graph: un valor lógico. Si es TRUE, se muestra un gráfico.

Para calcular el análisis de correspondencia, escriba esto:

library("FactoMineR")
#housetasks es nuestro marco de datos
res.ca <- CA(housetasks, graph = FALSE)

La salida de la función CA() es una lista que incluye:

print(res.ca)

#> **Results of the Correspondence Analysis (CA)**
#> The row variable has  13  categories; the column variable has 4 categories
#> The chi square of independence between the two variables is equal to 1944.456 (p-value =  0 ).
#> *The results are available in the following objects:
#> 
#>    name              description                   
#> 1  "$eig"            "eigenvalues"                 
#> 2  "$col"            "results for the columns"     
#> 3  "$col$coord"      "coord. for the columns"      
#> 4  "$col$cos2"       "cos2 for the columns"        
#> 5  "$col$contrib"    "contributions of the columns"
#> 6  "$row"            "results for the rows"        
#> 7  "$row$coord"      "coord. for the rows"         
#> 8  "$row$cos2"       "cos2 for the rows"           
#> 9  "$row$contrib"    "contributions of the rows"   
#> 10 "$call"           "summary called parameters"   
#> 11 "$call$marge.col" "weights of the columns"      
#> 12 "$call$marge.row" "weights of the rows"

El objeto que se crea usando la función CA() contiene mucha información que se encuentra en muchas listas y matrices diferentes. Estos valores se describen en la siguiente sección.

Visualización e interpretación

Usaremos las siguientes funciones [in factoextra] para ayudar en la interpretación y visualización del análisis de correspondencia:

get_eigenvalue(res.ca): Extraiga los autovalores/varianzas retenidos por cada dimensión (eje)
fviz_eig(res.ca): Visualiza los valores propios
get_ca_row(res.ca), get_ca_col(res.ca): Extrae los resultados para filas y columnas, respectivamente.
fviz_ca_row(res.ca), fviz_ca_col(res.ca): Visualiza los resultados para filas y columnas, respectivamente.
fviz_ca_biplot(res.ca): Crea un biplot de filas y columnas.

En las siguientes secciones, ilustraremos cada una de estas funciones.

Significación estadística

Para interpretar el análisis de correspondencia, el primer paso es evaluar si existe una dependencia significativa entre las filas y las columnas.

Un método riguroso consiste en utilizar la estadística de chi-cuadrado para examinar la asociación entre las variables de fila y columna. Esto aparece en la parte superior y es generado por la función summary(res.ca) o print(res.ca), ver sección “Gráfica de tablas de contingencia y prueba de chi-cuadrado”. Una estadística de chi-cuadrado alta significa un vínculo fuerte entre las variables de fila y columna o sea, la probabilidad de chi cuadrado deberá ser inferior a 0.05.

En nuestro ejemplo, la asociación es muy significativa (chi-cuadrado: 1944,456, p = 0).

# Chi-square statistics
chi2 <- 1944.456
chi2

#> [1] 1944.456

# Degree of freedom
df <- (nrow(housetasks) - 1) * (ncol(housetasks) - 1)
df

#> [1] 36

# P-value
pval <- pchisq(chi2, df = df, lower.tail = FALSE)
pval

#> [1] 0

Valores propios/Varianzas

Recuerde que examinamos los valores propios para determinar el número de ejes a considerar. Los valores propios y la proporción de varianzas retenidas por los diferentes ejes se pueden extraer utilizando la función get_eigenvalue() [paquete factoextra]. Los valores propios son grandes para el primer eje y pequeños para el eje siguiente.

library("factoextra")
eig.val <- get_eigenvalue(res.ca)
eig.val

#>       eigenvalue variance.percent cumulative.variance.percent
#> Dim.1  0.5428893         48.69222                    48.69222
#> Dim.2  0.4450028         39.91269                    88.60491
#> Dim.3  0.1270484         11.39509                   100.00000

Los valores propios corresponden a la cantidad de información retenida por cada eje. Las dimensiones se ordenan de forma decreciente y se enumeran de acuerdo con la cantidad de variación explicada en la solución. La dimensión 1 explica la mayor variación en la solución, seguida de la dimensión 2 y así sucesivamente.

El porcentaje acumulado explicado se obtiene sumando las sucesivas proporciones de variación explicadas para obtener el total acumulado. Por ejemplo, 48,69% más 39,91% es igual a 88,6% y así sucesivamente. Por lo tanto, aproximadamente el 88,6% de la variación se explica por las dos primeras dimensiones.

Los valores propios se pueden utilizar para determinar el número de ejes que se deben retener. No existe una “regla general” para elegir el número de dimensiones que se deben mantener para la interpretación de los datos. Depende de la pregunta de investigación y la necesidad del investigador. Por ejemplo, si está satisfecho con el 80% de las variaciones totales explicadas, utilice la cantidad de dimensiones necesarias para lograrlo.

Tenga en cuenta que se logra una buena reducción de dimensión cuando las primeras dimensiones representan una gran proporción de la variabilidad.

En nuestro análisis, los dos primeros ejes explican el 88,6% de la variación. Este es un porcentaje aceptablemente grande.

Un método alternativo para determinar el número de dimensiones es mirar una gráfica de Scree Plot, que es el diagrama de valores propios/varianzas ordenados de mayor a menor. El número de componentes se determina en el punto, más allá del cual los valores propios restantes son todos relativamente pequeños y de tamaño comparable.

El gráfico Scree plot se puede realizar usando la función fviz_eig() o fviz_screeplot() [paquete factoextra].

fviz_screeplot(res.ca, addlabels = TRUE, ylim = c(0, 50))

Se puede considerar que el punto en el que el gráfico de pedregal muestra una curvatura (denominado “codo”) indica una dimensionalidad óptima.

También es posible calcular un valor propio promedio por encima del cual el eje debe mantenerse en la solución.

Nuestros datos contienen 13 filas y 4 columnas.

Si los datos fueran aleatorios, el valor esperado del valor propio para cada eje sería 1/(nrow(housetasks)-1) = 1/12 = 8,33% en términos de filas.

Asimismo, el eje promedio debe representar 1/(ncol(housetasks)-1) = 1/3 = 33,33% en términos de las 4 columnas.

Según (M. T. Bendixen 1995): >Cualquier eje con una contribución mayor que el máximo de estos dos porcentajes debe ser considerado como importante e incluido en la solución para la interpretación de los datos.

El código R a continuación, dibuja el gráfico de pantalla con una línea discontinua roja que especifica el valor propio promedio:

fviz_screeplot(res.ca) +
  geom_hline(yintercept=33.33, linetype=2, color="red")

Según el gráfico anterior, solo las dimensiones 1 y 2 deben usarse en la solución. La dimensión 3 explica sólo el 11,4% de la inercia total, que está por debajo del valor propio medio (33,33%) y es demasiado poco para guardarlo para un análisis más detallado.

Tenga en cuenta que puede utilizar más de 2 dimensiones. Sin embargo, es poco probable que las dimensiones complementarias contribuyan de manera significativa a la interpretación de la naturaleza de la asociación entre filas y columnas.

Las dimensiones 1 y 2 explican aproximadamente el 48,7% y el 39,9% de la inercia total, respectivamente. Esto corresponde a un total acumulado del 88,6% de la inercia total retenida por las 2 dimensiones. Cuanto mayor sea la retención, más sutileza en los datos originales se retiene en la solución de baja dimensión (M. Bendixen 2003).

Biplot

La función fviz_ca_biplot() [paquete factoextra] se puede utilizar para dibujar el biplot de las variables de filas y columnas.

# repel= TRUE para evitar la superposición de texto (lenta si tiene muchos puntos)
fviz_ca_biplot(res.ca, repel = TRUE)

El gráfico anterior se llama gráfico simétrico y muestra un patrón global dentro de los datos. Las filas están representadas por puntos azules y las columnas por triángulos rojos.

La distancia entre cualquier punto de fila o columna da una medida de su similitud (o disimilitud). Los puntos de fila con un perfil similar se cierran en el mapa de factores. Lo mismo es válido para los puntos de columna.

Este gráfico muestra que:

Las tareas de la casa, como la cena, el desayuno y la ropa, las hace la esposa con más frecuencia.

La conducción y las reparaciones las realiza el marido.

El gráfico simétrico representa los perfiles de fila y columna simultáneamente en un espacio común. En este caso, solo se puede interpretar realmente la distancia entre puntos de fila o la distancia entre puntos de columna.

¡La distancia entre cualquier elemento de fila y columna no es significativa! Solo puede hacer declaraciones generales sobre el patrón observado.

Para interpretar la distancia entre los puntos de columna y fila, los perfiles de columna deben presentarse en el espacio de fila o viceversa. Este tipo de mapa se llama biplot asimétrico y se analiza al final de este artículo.

El siguiente paso para la interpretación es determinar qué variables de fila y columna contribuyen más en la definición de las diferentes dimensiones retenidas en el modelo.

Opciones de biplot

Biplot es una visualización gráfica de filas y columnas en 2 o 3 dimensiones. Ya hemos descrito cómo crear CA biplots en la sección anterior. Aquí, describiremos diferentes tipos de biplots de CA.

Biplot simétrico

Como se mencionó anteriormente, el gráfico estándar del análisis de correspondencia es un biplot simétrico en el que tanto las filas (puntos azules) como las columnas (triángulos rojos) se representan en el mismo espacio utilizando las coordenadas principales. Estas coordenadas representan los perfiles de fila y columna. En este caso, solo se puede interpretar realmente la distancia entre puntos de fila o la distancia entre puntos de columna.

Con la gráfica simétrica, la distancia entre filas y columnas no se puede interpretar. Solo se pueden hacer declaraciones generales sobre el patrón.

fviz_ca_biplot(res.ca, repel = TRUE)

Tenga en cuenta que, para interpretar la distancia entre los puntos de la columna y los puntos de la fila, la forma más sencilla es hacer una gráfica asimétrica. Esto significa que los perfiles de columna deben presentarse en el espacio de la fila o viceversa.

Biplot asimétrico

Para hacer un biplot asimétrico, los puntos de las filas (o columnas) se trazan a partir de las coordenadas estándar (S) y los perfiles de las columnas (o las filas) se trazan a partir de las coordenadas principales (P) (M. Bendixen 2003).

Para un eje dado, las coordenadas estándar y principal se relacionan de la siguiente manera:

P = sqrt(valor propio) X S

P: la coordenada principal de una fila (o una columna) en el eje
valor propio: el valor propio del eje

Dependiendo de la situación, se pueden configurar otros tipos de visualización utilizando el mapa de argumentos (Nenadic y Greenacre 2007) en la función fviz_ca_biplot() [in factoextra].

Las opciones permitidas para el mapa de argumentos son:

“rowprincipal” o “colprincipal”: estos son los llamados biplots asimétricos, con filas en coordenadas principales y columnas en coordenadas estándar, o viceversa (también conocido como preservar métricas de filas o preservar métricas de columnas, respectivamente).
- “rowprincipal”: las columnas se representan en el espacio de las filas
- “colprincipal”: las filas se representan en el espacio de la columna
“symbiplot”: tanto las filas como las columnas se escalan para tener varianzas iguales a los valores singulares (raíces cuadradas de los valores propios), lo que da un biplot simétrico pero no conserva las métricas de filas o columnas.
“rowgab” o “colgab”: mapas asimétricos propuestos por Gabriel y Odoroff (Gabriel y Odoroff 1990):
- “rowgab”: filas en coordenadas principales y columnas en coordenadas estándar multiplicadas por la masa.
- “colgab”: columnas en coordenadas principales y filas en coordenadas estándar multiplicadas por la masa.
“rowgreen” o “colgreen”: Los llamados biplots de contribución que muestran visualmente los puntos que más contribuyen (Greenacre 2006b).
- “rowgreen”: filas en coordenadas principales y columnas en coordenadas estándar multiplicadas por la raíz cuadrada de la masa.
- “colgreen”: columnas en coordenadas principales y filas en coordenadas estándar multiplicadas por la raíz cuadrada de la masa.

El siguiente código R dibuja un biplot asimétrico estándar:

fviz_ca_biplot(res.ca,
               map ="rowprincipal", arrow = c(TRUE, TRUE),
               repel = TRUE)

Usamos el argumento flechas, que es un vector de dos lógicas que especifican si la gráfica debe contener puntos (FALSE, predeterminado) o flechas (TRUE). El primer valor establece las filas y el segundo valor establece el columnas.

Si el ángulo entre dos flechas es agudo, entonces existe una fuerte asociación entre la fila y la columna correspondientes.

Para interpretar la distancia entre filas y una columna, debe proyectar perpendicularmente puntos de fila en la flecha de la columna.

Biplot de contribución

En el biplot simétrico estándar (mencionado en la sección anterior), es difícil conocer los puntos que más contribuyen a la solución de la CA.

Michael Greenacre propuso una nueva escala mostrada (llamada biplot de contribución) que incorpora la contribución de puntos (M. Greenacre 2013). En esta visualización, los puntos que contribuyen muy poco a la solución, están cerca del centro de la biplot y son relativamente poco importantes para la interpretación.

Se puede dibujar un biplot de contribución usando el argumento map = "rowgreen" o map = "colgreen".

En primer lugar, hay que decidir si analizar las contribuciones de filas o columnas a la definición de los ejes.

En nuestro ejemplo interpretaremos la contribución de las filas a los ejes. Se utiliza el argumento map = "colgreen". En este caso, recuerde que las columnas están en coordenadas principales y las filas en coordenadas estándar multiplicadas por la raíz cuadrada de la masa. Para una fila dada, el cuadrado de la nueva coordenada en un eje i es exactamente la contribución de esta fila a la inercia del eje i.

fviz_ca_biplot(res.ca, map ="colgreen", arrow = c(TRUE, FALSE),
               repel = TRUE)

En el gráfico anterior, la posición de los puntos del perfil de la columna no cambia con respecto a la del biplot convencional. Sin embargo, las distancias de los puntos de fila desde el origen de la gráfica están relacionadas con sus contribuciones al mapa de factores bidimensionales.

Cuanto más cerca esté una flecha (en términos de distancia angular) de un eje, mayor será la contribución de la categoría de fila en ese eje en relación con el otro eje. Si la flecha está a medio camino entre los dos, su categoría de fila contribuye a los dos ejes en la misma medida.

Es evidente que la categoría de fila Reparaciones (Repairs) tiene una contribución importante al polo positivo de la primera dimensión, mientras que las categorías Lavandería (Laundry) y Comida principal (Main_meal) tienen una contribución importante al polo negativo de la primera dimensión;

La dimensión 2 se define principalmente por la categoría de fila Vacaciones (Holidays).

La categoría de fila Conducción (Driving) contribuye a los dos ejes en la misma medida.

Descripción de las dimensiones

Para identificar fácilmente los puntos de fila y columna que están más asociados con las dimensiones principales, puede usar la función dimdesc() [en FactoMineR]. Las variables de fila/columna se ordenan por sus coordenadas en la salida dimdesc().

# Descripción de la dimensión
res.desc <- dimdesc(res.ca, axes = c(1,2))

Descripción de la dimensión 1:

# Descripción de la dimensión 1 por puntos de fila
head(res.desc[[1]]$row, 4)

#>                 coord
#> Laundry    -0.9918368
#> Main_meal  -0.8755855
#> Dinner     -0.6925740
#> Breakfeast -0.5086002


# Descripción de la dimensión 1 por puntos de columna
head(res.desc [[1]]$col, 4)

#>                   coord
#> Wife        -0.83762154
#> Alternating -0.06218462
#> Jointly      0.14942609
#> Husband      1.16091847

Descripción de la dimensión 2:

# Descripción de la dimensión 2 por puntos de fila
res.desc[[2]]$fila

#> NULL


# Descripción de la dimensión 1 por puntos de columna
res.desc[[2]]$col

#>                  coord
#> Jointly     -1.0265791
#> Alternating  0.2915938
#> Wife         0.3652207
#> Husband      0.6019199

Ordenar datos con el paquete Tidyverse

Sat, 31 Oct 2020 00:00:00 +0000

Introducción

La ordenación de datos es una de las tareas mas importantes despues de concluir la investigación. En las ciencias agrícolas, generalmente la investigación concluye con la evaluación de la cosecha del cultivo. Generalmente nuestros datos pueden estar organizados en un libro de campo; sin embargo, en otras áreas no es así.

En este blog replicaré un ejemplo de ordenación de datos con el paquete Tidyverse del libro R4DS. El dataset datos::oms contiene datos de tuberculosis (TB) detallados por año, país, edad, sexo y método de diagnóstico. Los datos provienen del Informe de Tuberculosis de la Organización Mundial de la Salud 2014, disponible en http://www.who.int/tb/country/data/download/en/.

Procedimiento de ordenación

Cargar el paquete `tidyverse`

El primer paso es instalar el paquete tidyverse del CRAN de R. Posterior a esto es cargar el paquete en nuestra consola de R.

library(tidyverse)

#> ── Attaching packages ─────────────────────────────────────── tidyverse 1.3.0 ──

#> ✔ ggplot2 3.3.2     ✔ purrr   0.3.4
#> ✔ tibble  3.0.4     ✔ dplyr   1.0.2
#> ✔ tidyr   1.1.2     ✔ stringr 1.4.0
#> ✔ readr   1.3.1     ✔ forcats 0.5.0

#> ── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
#> ✖ dplyr::filter() masks stats::filter()
#> ✖ dplyr::lag()    masks stats::lag()

#En el paquete datos se encuentra la base de datos para este ejemplo
library(datos)

A continuación observación el estado de los datos de oms.

oms

#> # A tibble: 7,240 x 60
#>    pais  iso2  iso3   anio nuevos_fpp_h014 nuevos_fpp_h1524 nuevos_fpp_h2534
#>    <chr> <chr> <chr> <int>           <int>            <int>            <int>
#>  1 Afga… AF    AFG    1980              NA               NA               NA
#>  2 Afga… AF    AFG    1981              NA               NA               NA
#>  3 Afga… AF    AFG    1982              NA               NA               NA
#>  4 Afga… AF    AFG    1983              NA               NA               NA
#>  5 Afga… AF    AFG    1984              NA               NA               NA
#>  6 Afga… AF    AFG    1985              NA               NA               NA
#>  7 Afga… AF    AFG    1986              NA               NA               NA
#>  8 Afga… AF    AFG    1987              NA               NA               NA
#>  9 Afga… AF    AFG    1988              NA               NA               NA
#> 10 Afga… AF    AFG    1989              NA               NA               NA
#> # … with 7,230 more rows, and 53 more variables: nuevos_fpp_h3544 <int>,
#> #   nuevos_fpp_h4554 <int>, nuevos_fpp_h5564 <int>, nuevos_fpp_h65 <int>,
#> #   nuevos_fpp_m014 <int>, nuevos_fpp_m1524 <int>, nuevos_fpp_m2534 <int>,
#> #   nuevos_fpp_m3544 <int>, nuevos_fpp_m4554 <int>, nuevos_fpp_m5564 <int>,
#> #   nuevos_fpp_m65 <int>, nuevos_fpn_h014 <int>, nuevos_fpn_h1524 <int>,
#> #   nuevos_fpn_h2534 <int>, nuevos_fpn_h3544 <int>, nuevos_fpn_h4554 <int>,
#> #   nuevos_fpn_h5564 <int>, nuevos_fpn_h65 <int>, nuevos_fpn_m014 <int>,
#> #   nuevos_fpn_m1524 <int>, nuevos_fpn_m2534 <int>, nuevos_fpn_m3544 <int>,
#> #   nuevos_fpn_m4554 <int>, nuevos_fpn_m5564 <int>, nuevos_fpn_m65 <int>,
#> #   nuevos_ep_h014 <int>, nuevos_ep_h1524 <int>, nuevos_ep_h2534 <int>,
#> #   nuevos_ep_h3544 <int>, nuevos_ep_h4554 <int>, nuevos_ep_h5564 <int>,
#> #   nuevos_ep_h65 <int>, nuevos_ep_m014 <int>, nuevos_ep_m1524 <int>,
#> #   nuevos_ep_m2534 <int>, nuevos_ep_m3544 <int>, nuevos_ep_m4554 <int>,
#> #   nuevos_ep_m5564 <int>, nuevos_ep_m65 <int>, nuevosrecaida_h014 <int>,
#> #   nuevosrecaida_h1524 <int>, nuevosrecaida_h2534 <int>,
#> #   nuevosrecaida_h3544 <int>, nuevosrecaida_h4554 <int>,
#> #   nuevosrecaida_h5564 <int>, nuevosrecaida_h65 <int>,
#> #   nuevosrecaida_m014 <int>, nuevosrecaida_m1524 <int>,
#> #   nuevosrecaida_m2534 <int>, nuevosrecaida_m3544 <int>,
#> #   nuevosrecaida_m4554 <int>, nuevosrecaida_m5564 <int>,
#> #   nuevosrecaida_m65 <int>

En la salida se observa un ejemplo muy típico de una base de datos de la vida real. Contiene columnas redundantes, códigos extraños de variables y muchos valores faltantes. Practicamente, la base de datos oms está desordenado, por tanto, se necesita ordenarlo de manera sencilla con tidyverse.

Pasos de ordenación

Necesitamos agrupar todas las columnas desde nuevos_fpp_h014 hasta recaidas_m65. No sabemos aún qué representa esto, por lo que le daremos el nombre genérico de "clave". Sabemos que las celdas representan la cuenta de casos, por lo que usaremos la variable casos.

Existen múltiples valores faltantes en la representación actual, por lo que de momento usaremos na.rm para centrarnos en los valores que están presentes.

oms1 <- oms %>%
  pivot_longer(
    cols = nuevos_fpp_h014:nuevosrecaida_m65, 
    names_to = "clave", 
    values_to = "casos", 
    values_drop_na = TRUE
  )
oms1

#> # A tibble: 76,046 x 6
#>    pais       iso2  iso3   anio clave            casos
#>    <chr>      <chr> <chr> <int> <chr>            <int>
#>  1 Afganistán AF    AFG    1997 nuevos_fpp_h014      0
#>  2 Afganistán AF    AFG    1997 nuevos_fpp_h1524    10
#>  3 Afganistán AF    AFG    1997 nuevos_fpp_h2534     6
#>  4 Afganistán AF    AFG    1997 nuevos_fpp_h3544     3
#>  5 Afganistán AF    AFG    1997 nuevos_fpp_h4554     5
#>  6 Afganistán AF    AFG    1997 nuevos_fpp_h5564     2
#>  7 Afganistán AF    AFG    1997 nuevos_fpp_h65       0
#>  8 Afganistán AF    AFG    1997 nuevos_fpp_m014      5
#>  9 Afganistán AF    AFG    1997 nuevos_fpp_m1524    38
#> 10 Afganistán AF    AFG    1997 nuevos_fpp_m2534    36
#> # … with 76,036 more rows

Para visualizar el conteo de valores en la nueva columna clave:

oms1 %>%
  count(clave)

#> # A tibble: 56 x 2
#>    clave               n
#>    <chr>           <int>
#>  1 nuevos_ep_h014   1038
#>  2 nuevos_ep_h1524  1026
#>  3 nuevos_ep_h2534  1020
#>  4 nuevos_ep_h3544  1024
#>  5 nuevos_ep_h4554  1020
#>  6 nuevos_ep_h5564  1015
#>  7 nuevos_ep_h65    1018
#>  8 nuevos_ep_m014   1032
#>  9 nuevos_ep_m1524  1021
#> 10 nuevos_ep_m2534  1021
#> # … with 46 more rows

Para entender el significado de cada variable, se dispone de un diccionario de datos a mano. Este dice lo siguiente:

Lo que aparece antes del primer _ en las columnas indica si la columna contiene casos nuevos o antiguos de tuberculosis. En este dataset, cada columna contiene nuevos casos.
Lo que aparece luego de indicar si se refiere casos nuevos o antiguos es el tipo de tuberculosis:

recaida se refiere a casos reincidentes
ep se refiere a tuberculosis extra pulmonar
fpn se refiere a casos de tuberculosis pulmonar que no se pueden detectar mediante examen de frotis pulmonar (frotis pulmonar negativo)
fpp se refiere a casos de tuberculosis pulmonar que se pueden detectar mediante examen de frotis pulmonar (frotis pulmonar positivo)

La letra que aparece después del último _ se refiere al sexo de los pacientes. El conjunto de datos agrupa en hombres (h) y mujeres (m).
Los números finales se refieren al grupo etareo que se ha organizado en siete categorías:

014 = 0 - 14 años de edad
1524 = 15 – 24 años de edad
2534 = 25 – 34 años de edad
3544 = 35 – 44 años de edad
4554 = 45 – 54 años de edad
5564 = 55 – 64 años de edad
65 = 65 o más años de edad

Necesitamos hacer un pequeño cambio al formato de los nombres de las columnas: desafortunadamente lo nombres de las columnas son ligeramente inconsistentes debido a que en lugar de nuevos_recaida tenemos nuevosrecaida (es difícil darse cuenta de esto en esta parte, pero si no lo arreglas habrá errores en los pasos siguientes). Para esto, la idea básica es bastante simple: reemplazar los caracteres “nuevosrecaida” por “nuevos_recaida”. Esto genera nombres de variables consistentes.

oms2 <- oms1 %>%
  mutate(clave = stringr::str_replace(clave, "nuevosrecaida", "nuevos_recaida"))
oms2

#> # A tibble: 76,046 x 6
#>    pais       iso2  iso3   anio clave            casos
#>    <chr>      <chr> <chr> <int> <chr>            <int>
#>  1 Afganistán AF    AFG    1997 nuevos_fpp_h014      0
#>  2 Afganistán AF    AFG    1997 nuevos_fpp_h1524    10
#>  3 Afganistán AF    AFG    1997 nuevos_fpp_h2534     6
#>  4 Afganistán AF    AFG    1997 nuevos_fpp_h3544     3
#>  5 Afganistán AF    AFG    1997 nuevos_fpp_h4554     5
#>  6 Afganistán AF    AFG    1997 nuevos_fpp_h5564     2
#>  7 Afganistán AF    AFG    1997 nuevos_fpp_h65       0
#>  8 Afganistán AF    AFG    1997 nuevos_fpp_m014      5
#>  9 Afganistán AF    AFG    1997 nuevos_fpp_m1524    38
#> 10 Afganistán AF    AFG    1997 nuevos_fpp_m2534    36
#> # … with 76,036 more rows

Una vez reemplazado, nos facilita separar los valores en cada código aplicando separate() dos veces. La primera aplicación dividirá los códigos en cada _.

oms3 <- oms2 %>%
  separate(clave, c("nuevos", "tipo", "sexo_edad"), sep = "_")
oms3

#> # A tibble: 76,046 x 8
#>    pais       iso2  iso3   anio nuevos tipo  sexo_edad casos
#>    <chr>      <chr> <chr> <int> <chr>  <chr> <chr>     <int>
#>  1 Afganistán AF    AFG    1997 nuevos fpp   h014          0
#>  2 Afganistán AF    AFG    1997 nuevos fpp   h1524        10
#>  3 Afganistán AF    AFG    1997 nuevos fpp   h2534         6
#>  4 Afganistán AF    AFG    1997 nuevos fpp   h3544         3
#>  5 Afganistán AF    AFG    1997 nuevos fpp   h4554         5
#>  6 Afganistán AF    AFG    1997 nuevos fpp   h5564         2
#>  7 Afganistán AF    AFG    1997 nuevos fpp   h65           0
#>  8 Afganistán AF    AFG    1997 nuevos fpp   m014          5
#>  9 Afganistán AF    AFG    1997 nuevos fpp   m1524        38
#> 10 Afganistán AF    AFG    1997 nuevos fpp   m2534        36
#> # … with 76,036 more rows

A continuación podemos eliminar la columna nuevos, ya que es constante en este dataset. Además eliminaremos iso2 e iso3 ya que son redundantes.

oms3 %>%
  count(nuevos)

#> # A tibble: 1 x 2
#>   nuevos     n
#>   <chr>  <int>
#> 1 nuevos 76046


oms4 <- oms3 %>%
  select(-nuevos, -iso2, -iso3)

Luego separamos sexo_edad en sexo y edad dividiendo luego del primer carácter:

oms5 <- oms4 %>%
  separate(sexo_edad, c("sexo", "edad"), sep = 1)
oms5

#> # A tibble: 76,046 x 6
#>    pais        anio tipo  sexo  edad  casos
#>    <chr>      <int> <chr> <chr> <chr> <int>
#>  1 Afganistán  1997 fpp   h     014       0
#>  2 Afganistán  1997 fpp   h     1524     10
#>  3 Afganistán  1997 fpp   h     2534      6
#>  4 Afganistán  1997 fpp   h     3544      3
#>  5 Afganistán  1997 fpp   h     4554      5
#>  6 Afganistán  1997 fpp   h     5564      2
#>  7 Afganistán  1997 fpp   h     65        0
#>  8 Afganistán  1997 fpp   m     014       5
#>  9 Afganistán  1997 fpp   m     1524     38
#> 10 Afganistán  1997 fpp   m     2534     36
#> # … with 76,036 more rows

¡Ahora la base de datos oms está ordenado!

Resumen

En la anterior sección se hizo el procedimiento de ordenación paso a paso, asignando los resultados intermedios a nuevas variables. Esta no es la forma típica de trabajo. En realidad, los códigos debería ser de manera incremental usando pipes ("%>%):

oms %>%
  pivot_longer(
    cols = nuevos_fpp_h014:nuevosrecaida_m65,
    names_to = "clave", 
    values_to = "valor", 
    values_drop_na = TRUE) %>%
  mutate(clave = stringr::str_replace(clave, "nuevosrecaida", "nuevos_recaida")) %>%
  separate(clave, c("nuevos", "tipo", "sexo_edad")) %>%
  select(-nuevos, -iso2, -iso3) %>%
  separate(sexo_edad, c("sexo", "edad"), sep = 1)

#> # A tibble: 76,046 x 6
#>    pais        anio tipo  sexo  edad  valor
#>    <chr>      <int> <chr> <chr> <chr> <int>
#>  1 Afganistán  1997 fpp   h     014       0
#>  2 Afganistán  1997 fpp   h     1524     10
#>  3 Afganistán  1997 fpp   h     2534      6
#>  4 Afganistán  1997 fpp   h     3544      3
#>  5 Afganistán  1997 fpp   h     4554      5
#>  6 Afganistán  1997 fpp   h     5564      2
#>  7 Afganistán  1997 fpp   h     65        0
#>  8 Afganistán  1997 fpp   m     014       5
#>  9 Afganistán  1997 fpp   m     1524     38
#> 10 Afganistán  1997 fpp   m     2534     36
#> # … with 76,036 more rows

Conclusión

Es un ejemplo muy bueno para practicar y usar las diferentes funciones de tidyverse en la ordenación de datos.

Writing technical content in Academic

Fri, 12 Jul 2019 00:00:00 +0000

Academic is designed to give technical content creators a seamless experience. You can focus on the content and Academic handles the rest.

Highlight your code snippets, take notes on math classes, and draw diagrams from textual representation.

On this page, you’ll find some examples of the types of technical content that can be rendered with Academic.

Examples

Code

Academic supports a Markdown extension for highlighting code syntax. You can enable this feature by toggling the highlight option in your config/_default/params.toml file.

```python
import pandas as pd
data = pd.read_csv("data.csv")
data.head()
```

renders as

import pandas as pd
data = pd.read_csv("data.csv")
data.head()

Math

Academic supports a Markdown extension for $\LaTeX$ math. You can enable this feature by toggling the math option in your config/_default/params.toml file.

To render inline or block math, wrap your LaTeX math with $...$ or $$...$$, respectively.

Example math block:

$$\gamma_{n} = \frac{ 
\left | \left (\mathbf x_{n} - \mathbf x_{n-1} \right )^T 
\left [\nabla F (\mathbf x_{n}) - \nabla F (\mathbf x_{n-1}) \right ] \right |}
{\left \|\nabla F(\mathbf{x}_{n}) - \nabla F(\mathbf{x}_{n-1}) \right \|^2}$$

renders as

$$\gamma_{n} = \frac{ \left | \left (\mathbf x_{n} - \mathbf x_{n-1} \right )^T \left [\nabla F (\mathbf x_{n}) - \nabla F (\mathbf x_{n-1}) \right ] \right |}{\left |\nabla F(\mathbf{x}_{n}) - \nabla F(\mathbf{x}_{n-1}) \right |^2}$$

Example inline math $\nabla F(\mathbf{x}_{n})$ renders as $\nabla F(\mathbf{x}_{n})$.

Example multi-line math using the \\ math linebreak:

$$f(k;p_0^*) = \begin{cases} p_0^* & \text{if }k=1, \\
1-p_0^* & \text {if }k=0.\end{cases}$$

renders as

$$f(k;p_0^*) = \begin{cases} p_0^* & \text{if }k=1, \
1-p_0^* & \text {if }k=0.\end{cases}$$

Diagrams

Academic supports a Markdown extension for diagrams. You can enable this feature by toggling the diagram option in your config/_default/params.toml file or by adding diagram: true to your page front matter.

An example flowchart:

```mermaid
graph TD
A[Hard] -->|Text| B(Round)
B --> C{Decision}
C -->|One| D[Result 1]
C -->|Two| E[Result 2]
```

renders as

graph TD
A[Hard] -->|Text| B(Round)
B --> C{Decision}
C -->|One| D[Result 1]
C -->|Two| E[Result 2]

An example sequence diagram:

```mermaid
sequenceDiagram
Alice->>John: Hello John, how are you?
loop Healthcheck
    John->>John: Fight against hypochondria
end
Note right of John: Rational thoughts!
John-->>Alice: Great!
John->>Bob: How about you?
Bob-->>John: Jolly good!
```

renders as

sequenceDiagram
Alice->>John: Hello John, how are you?
loop Healthcheck
    John->>John: Fight against hypochondria
end
Note right of John: Rational thoughts!
John-->>Alice: Great!
John->>Bob: How about you?
Bob-->>John: Jolly good!

An example Gantt diagram:

```mermaid
gantt
section Section
Completed :done,    des1, 2014-01-06,2014-01-08
Active        :active,  des2, 2014-01-07, 3d
Parallel 1   :         des3, after des1, 1d
Parallel 2   :         des4, after des1, 1d
Parallel 3   :         des5, after des3, 1d
Parallel 4   :         des6, after des4, 1d
```

renders as

gantt
section Section
Completed :done,    des1, 2014-01-06,2014-01-08
Active        :active,  des2, 2014-01-07, 3d
Parallel 1   :         des3, after des1, 1d
Parallel 2   :         des4, after des1, 1d
Parallel 3   :         des5, after des3, 1d
Parallel 4   :         des6, after des4, 1d

An example class diagram:

```mermaid
classDiagram
Class01 <|-- AveryLongClass : Cool
<<interface>> Class01
Class09 --> C2 : Where am i?
Class09 --* C3
Class09 --|> Class07
Class07 : equals()
Class07 : Object[] elementData
Class01 : size()
Class01 : int chimp
Class01 : int gorilla
class Class10 {
  <<service>>
  int id
  size()
}
```

renders as

classDiagram
Class01 <|-- AveryLongClass : Cool
<<interface>> Class01
Class09 --> C2 : Where am i?
Class09 --* C3
Class09 --|> Class07
Class07 : equals()
Class07 : Object[] elementData
Class01 : size()
Class01 : int chimp
Class01 : int gorilla
class Class10 {
  <<service>>
  int id
  size()
}

An example state diagram:

```mermaid
stateDiagram
[*] --> Still
Still --> [*]
Still --> Moving
Moving --> Still
Moving --> Crash
Crash --> [*]
```

renders as

stateDiagram
[*] --> Still
Still --> [*]
Still --> Moving
Moving --> Still
Moving --> Crash
Crash --> [*]

Todo lists

You can even write your todo lists in Academic too:

- [x] Write math example
- [x] Write diagram example
- [ ] Do something else

renders as

Write math example
Write diagram example
Do something else

Tables

Represent your data in tables:

| First Header  | Second Header |
| ------------- | ------------- |
| Content Cell  | Content Cell  |
| Content Cell  | Content Cell  |

renders as

First Header	Second Header
Content Cell	Content Cell
Content Cell	Content Cell

Asides

Academic supports a shortcode for asides, also referred to as notices, hints, or alerts. By wrapping a paragraph in {{% alert note %}} ... {{% /alert %}}, it will render as an aside.

{{% alert note %}}
A Markdown aside is useful for displaying notices, hints, or definitions to your readers.
{{% /alert %}}

renders as

A Markdown aside is useful for displaying notices, hints, or definitions to your readers.

Icons

Academic enables you to use a wide range of icons from Font Awesome and Academicons in addition to emojis.

Here are some examples using the icon shortcode to render icons:

{{< icon name="terminal" pack="fas" >}} Terminal  
{{< icon name="python" pack="fab" >}} Python  
{{< icon name="r-project" pack="fab" >}} R

renders as

Terminal
Python
R

Display Jupyter Notebooks with Academic

Tue, 05 Feb 2019 00:00:00 +0000

from IPython.core.display import Image
Image('https://www.python.org/static/community_logos/python-logo-master-v3-TM-flattened.png')

print("Welcome to Academic!")

Welcome to Academic!

Install Python and JupyterLab

Install Anaconda which includes Python 3 and JupyterLab.

Alternatively, install JupyterLab with pip3 install jupyterlab.

Create or upload a Jupyter notebook

Run the following commands in your Terminal, substituting <MY-WEBSITE-FOLDER> and <SHORT-POST-TITLE> with the file path to your Academic website folder and a short title for your blog post (use hyphens instead of spaces), respectively:

mkdir -p <MY-WEBSITE-FOLDER>/content/post/<SHORT-POST-TITLE>/
cd <MY-WEBSITE-FOLDER>/content/post/<SHORT-POST-TITLE>/
jupyter lab index.ipynb

The jupyter command above will launch the JupyterLab editor, allowing us to add Academic metadata and write the content.

Edit your post metadata

The first cell of your Jupter notebook will contain your post metadata ( front matter).

In Jupter, choose Markdown as the type of the first cell and wrap your Academic metadata in three dashes, indicating that it is YAML front matter:

---
title: My post's title
date: 2019-09-01

# Put any other Academic metadata here...
---

Edit the metadata of your post, using the documentation as a guide to the available options.

To set a featured image, place an image named featured into your post’s folder.

For other tips, such as using math, see the guide on writing content with Academic.

Convert notebook to Markdown

jupyter nbconvert index.ipynb --to markdown --NbConvertApp.output_files_dir=.

Example

This post was created with Jupyter. The orginal files can be found at https://github.com/gcushen/hugo-academic/tree/master/exampleSite/content/post/jupyter

Academic: the website builder for Hugo

Wed, 20 Apr 2016 00:00:00 +0000

Create a free website with Academic using Markdown, Jupyter, or RStudio. Choose a beautiful color theme and build anything with the Page Builder - over 40 widgets, themes, and language packs included!

Check out the latest demo of what you’ll get in less than 10 minutes, or view the showcase of personal, project, and business sites.

👉 Get Started
📚 View the documentation
💬 Ask a question on the forum
👥 Chat with the community
🐦 Twitter: @source_themes @GeorgeCushen #MadeWithAcademic
💡 Request a feature or report a bug
⬆️ Updating? View the Update Guide and Release Notes
❤ Support development of Academic:
- ☕️ Donate a coffee
- 💵 Become a backer on Patreon
- 🖼️ Decorate your laptop or journal with an Academic sticker
- 👕 Wear the T-shirt
- 👩‍💻 Contribute

Academic is mobile first with a responsive design to ensure that your site looks stunning on every device.

Key features:

Page builder - Create anything with widgets and elements
Edit any type of content - Blog posts, publications, talks, slides, projects, and more!
Create content in Markdown, Jupyter, or RStudio
Plugin System - Fully customizable color and font themes
Display Code and Math - Code highlighting and LaTeX math supported
Integrations - Google Analytics, Disqus commenting, Maps, Contact Forms, and more!
Beautiful Site - Simple and refreshing one page design
Industry-Leading SEO - Help get your website found on search engines and social media
Media Galleries - Display your images and videos with captions in a customizable gallery
Mobile Friendly - Look amazing on every screen with a mobile friendly version of your site
Multi-language - 15+ language packs including English, 中文, and Português
Multi-user - Each author gets their own profile page
Privacy Pack - Assists with GDPR
Stand Out - Bring your site to life with animation, parallax backgrounds, and scroll effects
One-Click Deployment - No servers. No databases. Only files.

Themes

Academic comes with automatic day (light) and night (dark) mode built-in. Alternatively, visitors can choose their preferred mode - click the sun/moon icon in the top right of the Demo to see it in action! Day/night mode can also be disabled by the site admin in params.toml.

Choose a stunning theme and font for your site. Themes are fully customizable.

Ecosystem

Academic Admin: An admin tool to import publications from BibTeX or import assets for an offline site
Academic Scripts: Scripts to help migrate content to new versions of Academic

Install

You can choose from one of the following four methods to install:

Then personalize and deploy your new site.

Updating

View the Update Guide.

Feel free to star the project on Github to help keep track of updates.

License

Released under the MIT license.

Posts | Franklin Santos

Análisis de Componentes Principales

Introducción

Metodología de análisis

Cargando datos

Código R

Extraiga y visualice valores propios/varianzas:

Gráfica círculo de correlación

Contribucion de las variables a los ejes principales:

Biplot

Referencias

Extraer y ordenar datos FAOSTAT con Tidyverse

Introducción

Extracción

Ordenación

Ordenando base de datos

Graficando los datos

Conclusión

Análisis de Varianza y Prueba de Promedios en R

Introducción

Datos

Objetivo del ANVA

Supuestos subyacentes de ANVA

1. Tipo de variable

2. Independencia

3. Normalidad

4. Igualdad de varianzas - homogeneidad

Análisis de varianza en R

Interpretaciones de los resultados del ANVA

¿Que sigue?

Pruebas de promedio en R y su interpretación

Prueba de Tukey HSD

Visualización de ANVA y pruebas de promedio

Análisis de varianza con easyanova

Visualización de la prueba de promedios

Conclusión

Referencias

Análisis de correspondencia con R

Introducción

Procedimiento computacional en R

Formato de datos

Gráfica de tablas de contingencia y prueba de chi-cuadrado

Código R para calcular CA (Analisis de Correspondencia)

Visualización e interpretación

Significación estadística

Valores propios/Varianzas

Biplot

Opciones de biplot

Biplot simétrico

Biplot asimétrico

Biplot de contribución

Descripción de las dimensiones

Ordenar datos con el paquete Tidyverse

Introducción

Procedimiento de ordenación

Cargar el paquete tidyverse

Pasos de ordenación

Resumen

Conclusión

Writing technical content in Academic

Examples

Code

Math

Diagrams

Todo lists

Tables

Asides

Icons

Did you find this page helpful? Consider sharing it 🙌

Display Jupyter Notebooks with Academic

Install Python and JupyterLab

Create or upload a Jupyter notebook

Edit your post metadata

Convert notebook to Markdown

Example

Academic: the website builder for Hugo

Themes

Ecosystem

Install

Updating

Análisis de varianza con `easyanova`

Cargar el paquete `tidyverse`