Le pain quotidien de l'IA (partie 2) : les données
Les estimations de cette année montrent qu'en 2025 nous aurons produit en données numériques l'équivalent de la période allant de l'an 2000 à 2018. Pourtant, ces données sont diversifiées et peu organisées pour être facilement exploitables par l'IA.
Dans la première partie de cette série, nous parlions d'un défi qui freine l'évolution de l'IA : l'infrastructure informatique. Aujourd'hui, parlons d'un défi tout aussi central : les données, le plat principal pour un modèle IA performant et fiable.
Avant de poursuivre, j'ai le plaisir d'annoncer qu'après une durée de 7 mois j'ai obtenu ma certification professionnelle IBM Data Engineering. Cette aventure m'a permis de mesurer la pertinence des infrastructures de données pour l'IA.
Le constat
D'après des analyses sectorielles récentes, environ 78% des entreprises au niveau mondial ne sont pas prêtes pour l'IA, en grande partie à cause de systèmes de données inadéquats ou fragmentés. Les architectures modernes comme les lakehouses, ainsi que des données unifiées et bien gouvernées, sont présentées comme essentielles à une adoption réussie de l'IA.
Explication simple :
- Les grands datasets de qualité sont restreints à certains géants technologiques.
- Pour constituer leurs propres datasets, les autres entreprises ont besoin d'une architecture solide permettant d'extraire les données depuis différentes sources, de les traiter, les peaufiner, puis les organiser dans un point centralisé où l'IA pourra puiser facilement pour son entraînement.
C'est là qu'interviennent les ingénieurs de données.
Pourquoi ça compte pour moi
Mon intérêt, en tant que développeur, pour une certification en data engineering est motivé par le désir de combler ce défi de plus en plus urgent : la fourniture sécurisée des données. Le rôle des ingénieurs de données est de mettre en place un pipeline multiplateforme, sécurisé, optimal et contextuel, permettant de nourrir continuellement un modèle d'IA avec des données fiables, traitées et structurées.