You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Récupérer les occurrences GBIF pour une AOI sur une fenêtre de refetch glissante de 10 ans, filtrer la qualité, convertir les points en zone_id H3, et stocker dans staging.species_occurrences_raw. Fréquence : 1×/an (année N → recharge N-9 → N).
Staging fonctionne comme une archive : seule la fenêtre refetchée est remplacée (une occurrence GBIF peut être corrigée après coup : coordonnées, taxonomie), l'historique hors fenêtre n'est jamais supprimé.
✅ Acceptance Criteria
DoD générales (logs, idempotence, job_runs)
Fenêtre de refetch glissante 10 ans implémentée (date_min = (N-9)-01-01, date_max = N-12-31)
Remplacement de la fenêtre : DELETE des lignes event_date >= date_min AND event_date <= date_max avant insertion ; l'historique hors fenêtre est conservé
Filtrage qualité (coordonnées valides, date valide)
Conversion point → H3 (zone_id)
Stockage staging.species_occurrences_raw conforme au schéma
Insertion par lot (batch) ; PK composite (gbif_occurrence_id, aoi_id) comme filet de sécurité (DO NOTHING si conflit) : une occurrence située dans deux AOI qui se chevauchent est stockée une fois par AOI
Relançable sans duplication ni donnée obsolète (garanti par le DELETE scopé)
Activity
Nicolas-Dmb commentedon Oct 2, 2026
Chaque année on récupère les 10 dernières années, car des données anciennes peuvent être mise à jour. A chaque lancement on doit donc :
=> aucune données fiables nous permet de récupérer que les données mises à jour.