empenho.Rmd

---
title: "Empenho: Análise dos Dados, 2018"
author: Dan S. Reznik
output: 
  html_document:
    toc: true
    toc_depth: 3
    toc_float: true
    theme: default
    highlight: default
    code_folding: hide
---

```{r,echo=F}
knitr::opts_chunk$set(
  collapse = TRUE,
  comment = "#>",
  dpi=96,
  collapse=T
)
```

```{r setup,message=F}
# Inclusão de pacotes
library(tidyverse)
library(fs)
```

```{r}
# Checa tamanho dos arquivos
dir_info("data") %>%
  select(path,size,modification_time)
```

## Leitura de Dados Higienizados

```{r df1,cache=T,message=F}
#Colocar num data frame ("tibble"). Nota: arquivo agora 'e UTF-8
fname_2018_squished_zip <- "data/despesa2018_squished.zip"
df_orcamento <- read_delim(fname_2018_squished_zip,delim=";",
                           quote="'") # evita erro com "
```

```{r,include=F}
problems(df_orcamento)
```

```{r}
# Quantas linhas, colunas, ou dimensões?
# nrow(df_orcamento)
# ncol(df_orcamento)
dim(df_orcamento)
```

```{r}
# Seleciona e renomeia colunas a serem utilizadas
df_orcamento_clean <- df_orcamento %>%
  transmute(func_cod=`Função`,
            func=`Nome Função`,
            empenhado=`Valor Empenhado`,
            liquidado=`Valor Liquidado`,
            pago=`Valor Pago`)
knitr::kable(df_orcamento_clean%>%head(4))%>%
  kableExtra::kable_styling("striped")
```

```{r}
# Quantas linhas não preenchidas (com 'NA')?
df_orcamento_clean$empenhado %>% is.na %>% sum
```

## Análise do "Empenho"

### Sumariza colunas que parecem conter valores:

```{r}
summary(df_orcamento_clean%>%select(empenhado:pago)) %>%
  knitr::kable() %>%
  kableExtra::kable_styling("striped",full_width = T)
```

### Plota histograma dos Valores Empenhados, Liquisdados e Pagos:

```{r,cache=T}
df_orcamento_clean %>%
  transmute_at(vars(empenhado,liquidado,pago),~.+1) %>% # for log
  mutate(row=row_number()) %>%
  gather("key","value",-row) %>%
  mutate(key=factor(key,levels=c("empenhado","liquidado","pago"))) %>%
  ggplot(aes(key,value,fill=key)) +
  geom_violin(draw_quantiles = c(.5)) +
  scale_y_log10(breaks=10^(0:11),labels=c(1,10,100,
                                          "1k","10k" ,"100k" ,
                                          "1M","10M","100M",
                                          "1B","10B","100B"))+
  labs(title="Histograma de Valores",
       subtitle="Ano 2018",
       x="Valor (R$)") +
  theme(legend.position = "none")
```

## Estudo por Função

```{r,cache=T}
# Nomes das funções são únicas por código?
df_orcamento_clean %>%
  count(func_cod,func) %>%
  count(func_cod,name="nn") %>%
  count(nn)
```

### Top 5 funções por número de execuções

```{r,cache=T}
df_orcamento_clean %>%
  count(func_cod,func,sort=T) %>%
  head(5) %>%
  knitr::kable() %>%
  kableExtra::kable_styling("striped")
```

### Totais dos valores das top 5 funções:

```{r}
df_orcamento_clean %>%
  group_by(func) %>% {
    ns <- summarize(.,n=n())
    ss <- summarize_at(.,vars(empenhado,liquidado,pago),
                 list(sum=~sum(.),
                      mean=~mean(.),
                      median=~median(.),
                      sd=~sd(.),
                      mad=~mad(.)))
    ns %>% inner_join(ss,by="func")
    } %>%
  mutate_at(vars(-func),~(./10^3)%>%as.integer) %>%
  arrange(-n) %>%
  rename_all(~str_replace(.,fixed("_"),"\n")) %>%
  head(5) %>%
  knitr::kable() %>%
  kableExtra::kable_styling("striped") #%>%
  #kableExtra::row_spec(0, angle = -45)
```

### Valores por função: Top 5

```{r}
df_orcamento_clean %>%
  mutate(func=func%>%fct_reorder(-empenhado,sum)) %>%
  filter(as.integer(func)<6) %>%
  mutate(func=func%>%fct_rev) %>% # for coord_flip
  group_by(func) %>%
  # milhoes
  summarize_at(vars(empenhado,liquidado,pago),
               list(~(sum(.)/10^9))) %>%
  gather("key","value",-func) %>%
  mutate(key=factor(key,levels=c("pago","liquidado","empenhado"))) %>%
  ggplot(aes(func,value,group=key,fill=key)) +
  geom_col(position="dodge") +
  coord_flip() +
  labs(title="Valores Totais por Função",
       subtitle="Ano 2018, Top 5",
       y="Valor (R$ bilhões)") +
  theme(legend.position = "top",
        legend.title = element_blank(),
        axis.title.y=element_blank())
```

```{r}
ggsave("pics/valores_por_funcao.png")
```

### Distribuição dos Valores por Função (boxbplot)

```{r}
df_orcamento_clean %>%
  mutate(func=func%>%fct_reorder(empenhado+1,.fun=median,.desc=T)) %>%
  filter(as.integer(func)<6) %>%
  mutate(func=func%>%fct_rev) %>% # for coord_flip
  ggplot(aes(func,empenhado+1)) +
  geom_boxplot(aes(fill=func),notch=T) +
  scale_y_log10(breaks=10^c(0,3,6,9),labels=c("1","1k","1M","1B"))+
  coord_flip() +
  labs(title="Distribuição dos Valores por Função",
       subtitle="Ano 2018, Top 5 medianas",
       y="Valor (R$)") +
  theme(legend.position = "none",
        axis.title.y=element_blank())
```