QGIS comme ETL

Photo de Hanna Morris sur Unsplash

Vous aimez masser vos données, les sublimer, les faire voyager ? Cet article est pour vous !

Depuis 2023, le logiciel propriétaire ETL ( “Extract, Transform, Load” ) FME de Safe Software a considérablement revu sa politique de tarification, multipliant le coût des licences du logiciel par 3 voire 5. L’utilisation de la suite logicielle, jusque là incontournable et inégalée, devient de plus en problématique dans toutes les structures qui n’ont pas la ressource financière nécessaire pour supporter ces augmentations.

D’autre part, QGIS Processing offre déjà depuis plusieurs années des fonctionnalités de traitement de la donnée et commence à se poser en concurrent légitime de FME. On constate aussi la forte dynamique du module de traitement QGIS Processing qui s’est considérablement amélioré récemment.

Un ETL, qu’est ce que c’est ?

ETL (“Extract, Transform, Load”, soit : “Extraction, Transformation, Chargement”) est un processus d’intégration d’une donnée source dans un entrepôt de données cible. Elle se traduit souvent par une chaîne de traitements qui nettoie, transforme et organise les données avant de les insérer dans un système cible, le plus souvent dans une base de données.

De façon élargie, les ETL désignent les outils permettant de concevoir ces processus d’intégration. Ils implémentent généralement un “Model builder” permettant de travailler ces processus sous forme graphique, des algorithmes de chargement et de transformation, ainsi qu’un outil d’exécution pour lancer les traitements.

Photo de Kelly Sikkema sur Unsplash

QGIS comme ETL, vraiment?

Lors des dernières journées QGIS utilisateurs francophones, nous avons animé un atelier autour de QGIS Processing. Les participants qui ont eu l’occasion de s’exercer sur plusieurs cas d’usage ont fait des retours trés positifs sur QGIS Processing.

Cependant, lors de nos échanges avec des personnes qui utilisent à la fois FME et QGIS, il est fréquent d’entendre que QGIS n’égale pas son concurrent sur le plan fonctionnel en termes de capacités ETL.

crédits pour “vs”: https://www.pngall.com

Ce sujet a déjà fait l’objet d’une étude concernant les différences fonctionnelles, à laquelle nous avons contribué. Si elle confirme que FME conserve encore un avantage compétitif sur QGIS, elle nous a cependant permis de mettre en lumière que les fonctionnalités offertes par QGIS Processing permettent de couvrir une très grande partie des besoins utilisateurs. 

Notre conviction profonde est que la migration depuis FME vers QGIS est techniquement possible si elle est réalisée de façon étudiée et réfléchie.

Comment migrer ?

Chez Oslandia, nous sommes convaincus que la migration depuis FME vers QGIS n’est pas qu’affaire de technique.

Elle commence avant tout par une écoute active de l’utilisateur pour bien comprendre ses besoins et le périmètre fonctionnel. L’utilisateur doit être au centre du processus de migration. C’est aussi l’occasion d’étudier et revoir les usages pour éviter des processus techniques trop complexes pour le besoin cible.

Elle s’accompagne éventuellement d’une évolution des processus utilisateurs et d’une migration des modèles de traitement pour les rendre compatible avec QGIS. Cette étape est généralement aussi l’occasion de réaliser une optimisation de performances, dont les gains sont souvent considérables.

Notre expérience forte de 15 années de migration depuis des solutions propriétaires vers des logiciels libres – vous pouvez télécharger notre livre blanc “Migrez votre SIG à l’OpenSource” – nous conforte dans l’idée que le moment est venu pour migrer depuis FME vers QGIS.

QGIS Processing est maintenant suffisamment mature pour absorber la majorité des besoins utilisateurs en ETL.

De plus, comme pour l’ensemble des solutions OpenSource, si vous constatez un manque fonctionnel, nous sommes en mesure de faire évoluer QGIS Processing pour l’améliorer et le faire correspondre à vos besoins.

Nous contacter

Si vous souhaitez nous faire part de votre intérêt pour les ETL OpenSource, pour un projet de migration ou pour tout autres questions concernant QGIS n’hésitez pas à nous contacter à infos+qgis@oslandia.com

Vous pouvez rester informé grâce à notre newsletter, et nous suivre sur Linkedin.