diff --git a/R/01.1-shapes_municipios_e_setores.R b/R/01.1-shapes_municipios_e_setores.R index 838d30f..0e434a5 100644 --- a/R/01.1-shapes_municipios_e_setores.R +++ b/R/01.1-shapes_municipios_e_setores.R @@ -1,5 +1,10 @@ #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ###### 0.1.1 Download de shape file de municipios e setores censitarios dos municipios incluidos no projeto +# Esse script faz o download do shape dos municipios e setores censitarios do pacote geobr, +# e salva-os na pasta de data-raw +# Por mais que os shapes nao mudem entre os anos, eles sao salvos em pastas separadas para cada um dos anos +# Isso em geral causa multiplicacao de shapes para a maioria das cidades, mas algumas cidades podem aprensetar +# mudanca no seu shape (goiania p/ 2019, por exemplo, q considera a RM) e portanto devem ser consideradas # carregar bibliotecas source('./R/fun/setup.R') diff --git a/R/01.8-map_tiles.R b/R/01.10-map_tiles.R similarity index 100% rename from R/01.8-map_tiles.R rename to R/01.10-map_tiles.R diff --git a/R/01.2-grade_censo.R b/R/01.2-grade_censo.R index 9266b52..fb50553 100644 --- a/R/01.2-grade_censo.R +++ b/R/01.2-grade_censo.R @@ -1,5 +1,10 @@ #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ###### 0.1.4 Extrai grade estatistica de cada municipio +# Esse script faz o download da grade estatistica do pacote geobr, +# e salva-os na pasta de data-raw +# Por mais que os shapes nao mudem entre os anos, eles sao salvos em pastas separadas para cada um dos anos +# Isso em geral causa multiplicacao de shapes para a maioria das cidades, mas algumas cidades podem aprensetar +# mudanca no seu shape (goiania p/ 2019, por exemplo, q considera a RM) e portanto devem ser consideradas # carregar bibliotecas source('./R/fun/setup.R') diff --git a/R/01.3-dados_setores_censitarios.R b/R/01.3-dados_setores_censitarios.R index 209b7ab..2d832ef 100644 --- a/R/01.3-dados_setores_censitarios.R +++ b/R/01.3-dados_setores_censitarios.R @@ -1,5 +1,8 @@ #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ###### 0.1.2 Carrega dados socioeconomicos dos setores censitarios +# Esse script faz um tratamento da base (interna do IPEA) dos setores censitarios, selecionando +# as variaveis de interesse e preparando o output. Por fim, faz a juncao com os shapes dos setores +# que foram baixados na etapa 01.1, e salvar na pasta data/setores_agregados # carregar bibliotecas diff --git a/R/01.4-dados_educacao.R b/R/01.4-dados_educacao.R index fd453a0..0bbc2fa 100644 --- a/R/01.4-dados_educacao.R +++ b/R/01.4-dados_educacao.R @@ -1,5 +1,10 @@ #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ -###### 0.1.3 Geocode dados do censo escolar +###### 0.1.4 Dados do censo escolar +# Esse script aplica funcoes que foram definidas na pasta R/fun/educacao p/ todos os anos de processamento +# Sao tres funcoes principais: +# 1) Filtra cada base de educacao mantendo somente observaoes de escolas publicas e e municipios do projeto +# 2) Traz o geocode que foi realizado com o streetmap e aprimora a qualidade do geocode quando necessario +# 3) Filtra somente as observaoes que apresentam boa qualidade de geocode # carregar bibliotecas source('./R/fun/setup.R') diff --git a/R/01.5-dados_saude.R b/R/01.5-dados_saude.R index ce0f04e..83ed50a 100644 --- a/R/01.5-dados_saude.R +++ b/R/01.5-dados_saude.R @@ -1,5 +1,10 @@ #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ -###### 0.1.3 Geocode dados do censo escolar +###### 0.1.5 Dados do CNES +# Esse script aplica funcoes que foram definidas na pasta R/fun/saude p/ todos os anos de processamento +# Sao tres funcoes principais: +# 1) Filtra cada base de saude mantendo somente observaoes de equipamentos de saude publicos e e municipios do projeto +# 2) Traz o geocode que foi realizado com o streetmap e aprimora a qualidade do geocode quando necessario +# 3) Filtra somente as observaoes que apresentam boa qualidade de geocode # carregar bibliotecas source('./R/fun/setup.R') diff --git a/R/01.6-dados_empregos.R b/R/01.6-dados_empregos.R index 1186ddd..beb0ca6 100644 --- a/R/01.6-dados_empregos.R +++ b/R/01.6-dados_empregos.R @@ -1,5 +1,14 @@ #~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ###### 0.1.6 Limpeza e Geocode dados da RAIS +# Esse script aplica funcoes que foram definidas na pasta R/fun/empregos p/ todos os anos de processamento +# Sao as funcoes principais: +# 0) Save raw data with columns we use in the municipalities of the project +# 1) Filter raw workers data - only private jobs +# 2) Categorizar trabalhadores por grau de instrucao +# 3) Tratar os outliers +# 4) Trazer o geocode dos estabelecimentos e aprimorar a qualidade quando necessario +# 5) Trazer geocode p/ a base original (da etapa 2) +# 6) Selecionar somente as obsservacoes com boa qualidade de geocode # carregar bibliotecas source('./R/fun/setup.R') @@ -7,104 +16,97 @@ source('./R/fun/setup.R') # carregar funcoes purrr::walk(dir('./R/fun/empregos', full.names = TRUE), source) + + + # Aplicar funcoes para o ano de 2017 ------------- # 0) Save raw data with columns we use in the municipalities of the project rais_filter_raw_data(2017) -# 0.1) Filter raw workers data +# 1) Filter raw workers data - only private jobs rais_filter_pessoas(2017) -# 1) Categorizar trabalhadores por grau de instrucao +# 2) Categorizar trabalhadores por grau de instrucao rais_categorize_inst(2017) -# 2) Tratar os outliers +# 3) Tratar os outliers rais_treat_outliers(2017) -# 3) Realizar e trazer geocode dos estabelecimentos -# realizar geocode -# rais_clean_estabs_raw(2017) -# rais_export_data_to_galileo(2017) - -## Run Galileo to geocode the data before moving on to the next functions +# 4) Aprimorar o geocode dos estabelecimentos que veio do streetmap +# primeiro, limpar a base completa geocoded que veio do streetmap +rais_clean_estabs_raw(2017) +# segundo, aprimorar o geocde utilizando o geocode do gmaps +rais_gmaps_geocode(2017, run_gmaps = FALSE) -# rais_check_new_estabs(2017) -# rais_gmaps_geocode(2017, run_gmaps = FALSE) -# trazer geocode +# 5) Trazer geocode p/ a base original (da etapa 2) rais_bring_geocode(2017) - -# 5) Selecionar somente as obsservacoes com boa qualidade de geocode +# 6) Selecionar somente as obsservacoes com boa qualidade de geocode source("R/fun/filter_geocode.R") geocode_filter(ano = 2017, "rais") + # Aplicar funcoes para o ano de 2018 ------------- -# 0) Save raw data with columns we use +# 0) Save raw data with columns we use in the municipalities of the project rais_filter_raw_data(2018) -# 0.1) Filter raw trabalhadores data +# 1) Filter raw workers data - only private jobs rais_filter_pessoas(2018) -# 1) Categorizar trabalhadores por grau de instrucao +# 2) Categorizar trabalhadores por grau de instrucao rais_categorize_inst(2018) -# 2) Tratar os outliers +# 3) Tratar os outliers rais_treat_outliers(2018) -# 3) Realizar e trazer geocode dos estabelecimentos -# realizar geocode +# 4) Aprimorar o geocode dos estabelecimentos que veio do streetmap +# primeiro, limpar a base completa geocoded que veio do streetmap rais_clean_estabs_raw(2018) -rais_export_data_to_galileo(2018) - -## Run Galileo to geocode the data before moving on to the next functions - -rais_check_new_estabs(2018) +# segundo, aprimorar o geocde utilizando o geocode do gmaps rais_gmaps_geocode(2018, run_gmaps = FALSE) -# trazer geocode + +# 5) Trazer geocode p/ a base original (da etapa 2) rais_bring_geocode(2018) -# 5) Selecionar somente as obsservacoes com boa qualidade de geocode +# 6) Selecionar somente as obsservacoes com boa qualidade de geocode source("R/fun/filter_geocode.R") geocode_filter(ano = 2018, "rais") - - - - # Aplicar funcoes para o ano de 2019 ------------- -# 0) Save raw data with columns we use +# 0) Save raw data with columns we use in the municipalities of the project rais_filter_raw_data(2019) -# 0.1) Filter raw trabalhadores data +# 1) Filter raw workers data - only private jobs rais_filter_pessoas(2019) -# 1) Categorizar trabalhadores por grau de instrucao +# 2) Categorizar trabalhadores por grau de instrucao rais_categorize_inst(2019) -# 2) Tratar os outliers +# 3) Tratar os outliers rais_treat_outliers(2019) -# 3) Realizar e trazer geocode dos estabelecimentos -# realizar geocode +# 4) Aprimorar o geocode dos estabelecimentos que veio do streetmap +# primeiro, limpar a base completa geocoded que veio do streetmap rais_clean_estabs_raw(2019) -rais_export_data_to_galileo(2019) - -## Run Galileo to geocode the data before moving on to the next functions - -rais_check_new_estabs(2019) +# segundo, aprimorar o geocde utilizando o geocode do gmaps rais_gmaps_geocode(2019, run_gmaps = FALSE) -# trazer geocode -rais_bring_geocode(2019) +# 5) Trazer geocode p/ a base original (da etapa 2) +rais_bring_geocode(2019) -# 5) Selecionar somente as obsservacoes com boa qualidade de geocode +# 6) Selecionar somente as obsservacoes com boa qualidade de geocode source("R/fun/filter_geocode.R") geocode_filter(ano = 2019, "rais") + + + +