Setup DWH Synchronization #1071
Conversation
… for production Signed-off-by: Raphaël Courivaud <[email protected]>
Signed-off-by: Raphaël Courivaud <[email protected]>
rcourivaud
changed the title
| # tests: | ||
| # - utils/same_row_number.sql: | ||
| # table_one: marts_production_housing | ||
| # table_two: int_production_housing |
There was a problem hiding this comment.
Il faut que je passe du temps pour setup les tests
| prod: | ||
| type: duckdb | ||
| path: "/opt/dagster/dagster_home/db/dagster.duckdb" |
There was a problem hiding this comment.
c'est stocké sur le filesystem en prod donc ? attention, ce sera perdu au rebuild. Pour un stockage pérenne il faudra ajouter un FS Bucket et le paramétré si possible par variable d'environnement (ce sera utile pour créer des environnements staging à la volée)
There was a problem hiding this comment.
je crois que pour une app docker ce n'est pas possible cela dit... à voir si on peut se permette de reconstruire la db à chaque rebuild ?
There was a problem hiding this comment.
Le problème de FS Bukcet, c'est que c'est ULTRA ULTRA CHER.
Ce que je vais faire c'est soit proposer de rebuild soit download une version déjà built.
La partie problématique c'est plus les données LOVAC / FF, qui font plusieurs dizaines de Go.
Signed-off-by: Raphaël Courivaud <[email protected]>
Signed-off-by: Raphaël Courivaud <[email protected]>
Signed-off-by: Raphaël Courivaud <[email protected]>
Signed-off-by: Raphaël Courivaud <[email protected]>
No description provided.