improve documentation

R/01.1-shapes_municipios_e_setores.R

@@ -1,5 +1,10 @@
 #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 ###### 0.1.1 Download de shape file de municipios e setores censitarios dos  municipios incluidos no projeto
+# Esse script faz o download do shape dos municipios e setores censitarios do pacote geobr,
+# e salva-os na pasta de data-raw
+# Por mais que os shapes nao mudem entre os anos, eles sao salvos em pastas separadas para cada um dos anos
+# Isso em geral causa multiplicacao de shapes para a maioria das cidades, mas algumas cidades podem aprensetar
+# mudanca no seu shape (goiania p/ 2019, por exemplo, q considera a RM) e portanto devem ser consideradas
 
 # carregar bibliotecas
 source('./R/fun/setup.R')

R/01.2-grade_censo.R

@@ -1,5 +1,10 @@
 #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 ###### 0.1.4 Extrai grade estatistica de cada municipio
+# Esse script faz o download da grade estatistica do pacote geobr,
+# e salva-os na pasta de data-raw
+# Por mais que os shapes nao mudem entre os anos, eles sao salvos em pastas separadas para cada um dos anos
+# Isso em geral causa multiplicacao de shapes para a maioria das cidades, mas algumas cidades podem aprensetar
+# mudanca no seu shape (goiania p/ 2019, por exemplo, q considera a RM) e portanto devem ser consideradas
 
 # carregar bibliotecas
 source('./R/fun/setup.R')

R/01.3-dados_setores_censitarios.R

@@ -1,5 +1,8 @@
 #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 ###### 0.1.2 Carrega dados socioeconomicos dos setores censitarios
+# Esse script faz um tratamento da base (interna do IPEA) dos setores censitarios, selecionando
+# as variaveis de interesse e preparando o output. Por fim, faz a juncao com os shapes dos setores
+# que foram baixados na etapa 01.1, e salvar na pasta data/setores_agregados
 
 
 # carregar bibliotecas

R/01.4-dados_educacao.R

@@ -1,5 +1,10 @@
 #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
-###### 0.1.3 Geocode dados do censo escolar
+###### 0.1.4 Dados do censo escolar
+# Esse script aplica funcoes que foram definidas na pasta R/fun/educacao p/ todos os anos de processamento
+# Sao tres funcoes principais:
+# 1) Filtra cada base de educacao mantendo somente observaoes de escolas publicas e e municipios do projeto
+# 2) Traz o geocode que foi realizado com o streetmap e aprimora a qualidade do geocode quando necessario
+# 3) Filtra somente as observaoes que apresentam boa qualidade de geocode
 
 # carregar bibliotecas
 source('./R/fun/setup.R')

R/01.5-dados_saude.R

@@ -1,5 +1,10 @@
 #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
-###### 0.1.3 Geocode dados do censo escolar
+###### 0.1.5 Dados do CNES
+# Esse script aplica funcoes que foram definidas na pasta R/fun/saude p/ todos os anos de processamento
+# Sao tres funcoes principais:
+# 1) Filtra cada base de saude mantendo somente observaoes de equipamentos de saude publicos e e municipios do projeto
+# 2) Traz o geocode que foi realizado com o streetmap e aprimora a qualidade do geocode quando necessario
+# 3) Filtra somente as observaoes que apresentam boa qualidade de geocode
 
 # carregar bibliotecas
 source('./R/fun/setup.R')

R/01.6-dados_empregos.R

@@ -1,110 +1,112 @@
 #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 ###### 0.1.6 Limpeza e Geocode dados da RAIS
+# Esse script aplica funcoes que foram definidas na pasta R/fun/empregos p/ todos os anos de processamento
+# Sao as funcoes principais:
+# 0) Save raw data with columns we use in the municipalities of the project
+# 1) Filter raw workers data - only private jobs
+# 2) Categorizar trabalhadores por grau de instrucao
+# 3) Tratar os outliers 
+# 4) Trazer o geocode dos estabelecimentos e aprimorar a qualidade quando necessario
+# 5) Trazer geocode p/ a base original (da etapa 2)
+# 6) Selecionar somente as obsservacoes com boa qualidade de geocode
 
 # carregar bibliotecas
 source('./R/fun/setup.R')
 
 # carregar funcoes
 purrr::walk(dir('./R/fun/empregos', full.names = TRUE), source)
 
+
+
+
 # Aplicar funcoes para o ano de 2017 -------------
 
 # 0) Save raw data with columns we use in the municipalities of the project
 rais_filter_raw_data(2017)
 
-# 0.1) Filter raw workers data
+# 1) Filter raw workers data - only private jobs
 rais_filter_pessoas(2017)
 
-# 1) Categorizar trabalhadores por grau de instrucao
+# 2) Categorizar trabalhadores por grau de instrucao
 rais_categorize_inst(2017)
 
-# 2) Tratar os outliers 
+# 3) Tratar os outliers 
 rais_treat_outliers(2017)
 
-# 3) Realizar e trazer geocode dos estabelecimentos
-# realizar geocode
-# rais_clean_estabs_raw(2017)
-# rais_export_data_to_galileo(2017)
-
-## Run Galileo to geocode the data before moving on to the next functions
+# 4) Aprimorar o geocode dos estabelecimentos que veio do streetmap
+# primeiro, limpar a base completa geocoded que veio do streetmap
+rais_clean_estabs_raw(2017)
+# segundo, aprimorar o geocde utilizando o geocode do gmaps
+rais_gmaps_geocode(2017, run_gmaps = FALSE)
 
-# rais_check_new_estabs(2017)
-# rais_gmaps_geocode(2017, run_gmaps = FALSE)
-# trazer geocode
+# 5) Trazer geocode p/ a base original (da etapa 2)
 rais_bring_geocode(2017)
 
-
-# 5) Selecionar somente as obsservacoes com boa qualidade de geocode
+# 6) Selecionar somente as obsservacoes com boa qualidade de geocode
 source("R/fun/filter_geocode.R")
 geocode_filter(ano = 2017, "rais")
 
 
 
+
 # Aplicar funcoes para o ano de 2018 -------------
 
-# 0) Save raw data with columns we use
+# 0) Save raw data with columns we use in the municipalities of the project
 rais_filter_raw_data(2018)
 
-# 0.1) Filter raw trabalhadores data
+# 1) Filter raw workers data - only private jobs
 rais_filter_pessoas(2018)
 
-# 1) Categorizar trabalhadores por grau de instrucao
+# 2) Categorizar trabalhadores por grau de instrucao
 rais_categorize_inst(2018)
 
-# 2) Tratar os outliers 
+# 3) Tratar os outliers 
 rais_treat_outliers(2018)
 
-# 3) Realizar e trazer geocode dos estabelecimentos
-# realizar geocode
+# 4) Aprimorar o geocode dos estabelecimentos que veio do streetmap
+# primeiro, limpar a base completa geocoded que veio do streetmap
 rais_clean_estabs_raw(2018)
-rais_export_data_to_galileo(2018)
-
-## Run Galileo to geocode the data before moving on to the next functions
-
-rais_check_new_estabs(2018)
+# segundo, aprimorar o geocde utilizando o geocode do gmaps
 rais_gmaps_geocode(2018, run_gmaps = FALSE)
-# trazer geocode
+
+# 5) Trazer geocode p/ a base original (da etapa 2)
 rais_bring_geocode(2018)
 
-# 5) Selecionar somente as obsservacoes com boa qualidade de geocode
+# 6) Selecionar somente as obsservacoes com boa qualidade de geocode
 source("R/fun/filter_geocode.R")
 geocode_filter(ano = 2018, "rais")
 
 
 
-
-
-
-
 # Aplicar funcoes para o ano de 2019 -------------
 
-# 0) Save raw data with columns we use
+# 0) Save raw data with columns we use in the municipalities of the project
 rais_filter_raw_data(2019)
 
-# 0.1) Filter raw trabalhadores data
+# 1) Filter raw workers data - only private jobs
 rais_filter_pessoas(2019)
 
-# 1) Categorizar trabalhadores por grau de instrucao
+# 2) Categorizar trabalhadores por grau de instrucao
 rais_categorize_inst(2019)
 
-# 2) Tratar os outliers 
+# 3) Tratar os outliers 
 rais_treat_outliers(2019)
 
-# 3) Realizar e trazer geocode dos estabelecimentos
-# realizar geocode
+# 4) Aprimorar o geocode dos estabelecimentos que veio do streetmap
+# primeiro, limpar a base completa geocoded que veio do streetmap
 rais_clean_estabs_raw(2019)
-rais_export_data_to_galileo(2019)
-
-## Run Galileo to geocode the data before moving on to the next functions
-
-rais_check_new_estabs(2019)
+# segundo, aprimorar o geocde utilizando o geocode do gmaps
 rais_gmaps_geocode(2019, run_gmaps = FALSE)
-# trazer geocode
-rais_bring_geocode(2019)
 
+# 5) Trazer geocode p/ a base original (da etapa 2)
+rais_bring_geocode(2019)
 
-# 5) Selecionar somente as obsservacoes com boa qualidade de geocode
+# 6) Selecionar somente as obsservacoes com boa qualidade de geocode
 source("R/fun/filter_geocode.R")
 geocode_filter(ano = 2019, "rais")
 
 
+
+
+
+