Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[dbt] add custom tests #570

Merged
merged 11 commits into from
May 6, 2024
Merged

[dbt] add custom tests #570

merged 11 commits into from
May 6, 2024

Conversation

folhesgabriel
Copy link
Contributor

@folhesgabriel folhesgabriel commented May 2, 2024

closes #545

1. Adiciona novos testes customizados

  • custom_relationships: permite settar valores que podem ser ignorados manualmente ou informar uma proporção de erros tolerável.
  • custom_unique_combinations_of_columns: permite settar uma proporção de erros tolerável.

2. Adiciona documentação dos testes customizados na Wiki

3. Adiciona documentação do config where na wiki

4. Adiciona explicação do uso da macro custom_get_where_subquery com config where na wiki para fazer testes incrementais

5. Adiciona protocolo de como lidar com id_municipio (ou outra chave) quando tem poucos casos que não estão no diretório na wiki

6. Adiciona teste custom_dicionaries

  • o objetivo do teste é verificar se todos os valores que estão presentes em colunas de tabelas com dicionário também estão nos dicionários
  • wiki

@folhesgabriel folhesgabriel requested a review from a team May 2, 2024 18:09
@folhesgabriel folhesgabriel self-assigned this May 2, 2024
Copy link
Collaborator

@arthurfg arthurfg left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

mt bom

@tricktx
Copy link
Contributor

tricktx commented May 2, 2024

Muuuito bom! Parabéns, Pisa.

Copy link
Contributor

@laura-l-amaral laura-l-amaral left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Ficou excelente! Apenas 2 pontos de melhoria importantes aqui:

  • deixar a proporção como um número entre 0 e 1 (tipo 0.05 ao inves de 5 para representar 5%) só pra manter o padrão com os outros testes que o dbt já oferece
  • incluir opção de formato de data no teste incremental (não limitar apenas quando tiver as colunas de ano e mes), é importante incluir essa macro em tabelas como cnpj que só tem uma data

@folhesgabriel folhesgabriel marked this pull request as draft May 3, 2024 01:39
@folhesgabriel folhesgabriel marked this pull request as ready for review May 3, 2024 11:51
@folhesgabriel folhesgabriel merged commit 4a4bf03 into main May 6, 2024
3 checks passed
@folhesgabriel folhesgabriel deleted the staging/add_custom_tests branch May 6, 2024 15:10
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

[add] criar macros customizadas para os testes padrão
4 participants