Allons plus loin dans l’enrichissement de données avec Antidot Information Factory

Nous avons vu précédemment qu’avec la version 7.6 de nos outils, la création de chaînes de traitement de données était extrêmement simple : il est possible de réaliser une application web de recherche de musées en quelques minutes. Pour autant, nos clients utilisent Antidot Information Factory dans des projets où les chaines de traitement sont plus beaucoup plus complexes.

Afin de montrer comment AIF répond aussi à des besoins plus avancés, nous allons donc améliorer notre application « Musées de France » en enrichissant les données initiales. Nous avons retenu trois enrichissements :

  1. trouver des photos sur un site de photos en ligne (Flickr ou Wikimedia par exemple)
  2. trouver les gares SNCF les plus proches de chaque musée
  3. ajouter un contenu textuel présentant chaque musée

Des photos !

Le premier enrichissement a pour objectif de montrer qu’AIF est très à l’aise avec des données multimédia. Nous y introduirons également l’organisation des données dans chaque « objet document », que nous avions passée sous silence dans le précédent billet.

Flickr.com possède des API accessibles en web services, tout comme Google Maps. En utilisant le même module d’interrogation d’un web service, nous allons obtenir une liste de photos associées à chaque musée. Nous utiliserons ensuite un module de téléchargement qui récupérera les 3 premières photos renvoyées par Flickr.

N.B. : Les photos renvoyées par Flickr ne sont pas forcément des photos du musée en question, il peut s’agir de photos prises à proximité du musée. Nous accepterons cette simplification pour l’exemple.

Organisons nos données

Vous vous souvenez que notre base de données des musées de France était, à l’origine, un tableau Excel. Comment associe-t-on des photos à une ligne Excel ?

C’est ce que nous allons faire facilement, car Information Factory se fonde sur un modèle de données riche et organisé. Chaque ressource manipulée – ici une ligne Excel désignant un musée de France – est une mini base de données. Avec AIF, nous allons ranger les informations manipulées dans des couches de données bien identifiées, chaque couche ayant un rôle bien défini.

DocUnit-Layers-sections

La couche principale se nomme « Contents » et elle contient la transformation XML de la ligne Excel décrivant le musée.

Layer-Contents

Certaines couches ont des libellés spécifiques car elles sont destinées à des usages particuliers. D’autres sont à la disposition du créateur de la chaine de traitement.

Ainsi, les résultats de géolocalisation seront placés dans une couche de données nommée « USER_1 » :

Layer-Geo

Dans notre exemple, nous allons ranger les résultats de la recherche d’images Flickr dans « USER_2 » et nous conserverons les liens vers les 3 premières photos dans « USER_3 » :

Layer-Flickr  →  Layer-URLs

Enfin, nous rangerons ensuite les photos elles-mêmes dans les couches « USER_4 » à « USER_6 » :

Layer-Photos

Utilisons Flickr via son API

Pour faire cela, de la même façon que l’on avait appelé le web service de Google Maps, appelons celui de Flickr en lui passant en paramètre la latitude et la longitude de chaque musée :

Appel Flickr

Nous récupérons alors le contenu des ces images, sous forme de fichiers au format JPEG, que nous stockons directement dans des couches de notre objet Musée. En effet, la solution Antidot Information Factory intègre un composant de stockage NoSQL appelé Content Repository. Grâce à lui, les photos seront directement accessibles via des web services pour toute application qui en aurait besoin. C’est ainsi que le widget d’affichage d’un objet musée sur l’application web pourra présenter les 3 photos.

Voilà, nos fiches présentant les musées sont désormais illustrés de photos !

 

Nous verrons dans le prochain billet comment indiquer, pour chaque musée, quelle sont les gares SNCF les plus proches…

Comment enrichir des données en quelques clics ?

En termes simples, Antidot Information Factory est une usine pour assembler et faire tourner des chaînes de traitement de l’information. Un des points forts d’AIF réside dans le fait que ces chaînes sont modulables à souhait, ce qui garantit qu’elles pourront toujours être adaptées à la structure des contenus à traiter. Elles permettent de se concentrer sur ce que l’on veut obtenir des données initiales, d’un point de vue fonctionnel, en faisant abstraction de la complexité technique sous-jacente et sans avoir besoin de programmer quoi que ce soit.

Il nous a donc paru important que le moyen d’assembler et de maintenir de ces chaînes de traitement ne soit pas un obstacle à la créativité. C’est pourquoi nous proposons, avec la version 7.6 d’Antidot Information Factory, un éditeur de chaînes de traitement. Intégré au Back-Office Antidot, cet outil visuel en mode web permet de créer une chaine de traitement en quelques clics, en définissant simplement ce que l’on souhaite faire des données dont on dispose.

Réutiliser des données ouvertes

Prenons un exemple dans le domaine de l’Open Data, et imaginons que je veuille créer un service de découverte des musées français. Pour cela, je veux

  • télécharger la liste des musées de France sur le portail officiel data.gouv.fr, où cette ressource est disponible au format Excel
  • m’abstraire du format Excel pour pouvoir enrichir les données
  • créer un objet de contenu spécifique pour chaque musée
  • géocoder chacun de ces objets pour pouvoir les placer sur une carte
  • indexer ces données enrichies dans un moteur de recherche sémantique comme AFS
  • déployer l’application de recherche ainsi créée sur le cloud Antidot

Assembler simplement des modules de traitement

Cette suite d’actions est très facile à réaliser avec AIF, car ses 6 étapes se configurent aisément dans le Back Office Antidot, en piochant dans le catalogue des modules AIF prêts à l’emploi.

Cliquez sur rouedentee pour voir cette démonstration en haute définition.

En effet, AIF intègre plus de 60 modules catégorisés par usage :

  • connexion aux sources
  • transformation de format
  • enrichissement
  • appel à des web services externes
  • etc.

Résultat : notre application web “Musées de France”

C’est sur ce principe que notre application « Monuments Historiques » avait été réalisée l’an dernier, et c’est avec Antidot Information Factory que des clients comme Isidore, le MuCEM… travaillent désormais leurs données.

Et, grâce à AIF et à notre moteur de recherche AFS, vous profitez maintenant de notre application de découverte des musées de France, que vous pouvez même utiliser en vacances sur votre smartphone ou tablette !

Home Musées

 

Ceci n’est qu’une première étape, qui avait pour objectif de vous montrer à quel point Antidot Information Factory est simple à mettre en œuvre.

À suivre !

Dans nos prochains billets, nous vous montrerons comment AIF permet d’aller beaucoup plus loin, avec des chaînes de traitement plus puissantes… et toujours aussi faciles à assembler !

Faire et Savoir-faire

En informatique, Faire n’est pas compliqué.

C’est le Savoir-faire qui est long et difficile à acquérir.

La preuve ? Demandez à un informaticien de développer quelque chose qui va lui prendre disons 10 jours. Une fois le travail terminé, effacez tous les fichiers (on va plutôt dire que le serveur les a perdus et que la sauvegarde ne marchait pas…). Demandez-lui de recommencer. Eh bien, il le fera en 5 ou 6 jours tout au plus et le résultat sera meilleur que la première fois. Faire n’est donc pas compliqué.

En revanche, le coût d’acquisition des Savoir-faire informatiques a explosé ces dernières années avec la multiplication et la complexification des technologies.

Le bon vieux programme Basic des années 80 pour afficher des caractères sur un écran 80×24 n’est plus. Les programmes d’aujourd’hui sont incroyablement complexes : ils doivent fonctionner sur le Web comme sur mobile, pour des centaines d’utilisateurs, avec des performances et des fonctionnalités toujours plus riches. La diversité des compétences mises en œuvre explose littéralement. Qui maitrise aujourd’hui toutes les technologies et les savoir-faire nécessaires ? Si bien qu’à l’instar du bâtiment, le secteur informatique possède aujourd’hui ses corps de métier : ergonomes, graphistes, architectes, développeurs système ou réseau, algorithmiciens, développeurs Java ou C++ ou .Net ou PHP ou…

Et tout cela ne va guère en s’améliorant. Les environnements de développement et les plate-formes logicielles peinent à suivre le rythme et à réduire cette complexité. Si bien que dès qu’un projet implique un peu d’informatique, il faut mobiliser et inclure dans l’équipe des compétences technologiques fortes et seules des personnes ayant des compétences en programmation peuvent participer.

Prenons le cas du tout récent Big Data : certains, comme Harper Reed qui fut directeur technologique de la campagne électorale de Barack Obama, n’hésitent pas à dire que le Big Data c’est de « la connerie ». Sans aller jusque là, reconnaissons que le buzzword est désormais partout, et qu’il sert souvent d’alibi à des fournisseurs de matériel et de logiciel qui veulent renouveler à bon compte le marketing parfois essoufflé leurs offres. Pour autant,  il y a de l’or à tirer des données des entreprises, pour peu qu’on sache les faire parler, les analyser, les valoriser et les consolider avec des données externes afin de les contextualiser. qui peut faire ça ? Les “Data Scientists” nous dit-on. Une race nouvelle, hybride, possédant des compétences en statistiques et en informatique, avec une sensibilité avancée pour les données et une compréhension des enjeux métier. Mais existent-t-ils vraiment ? Il semblerait que non à lire 01net Entreprises (“Il y a urgence à enseigner le Big Data !“) ou ITPro (“Le Big Data freiné par une offre complexe et une pénurie de compétence“).

Source : wikibook “Data Science: An introduction
Le fond du problème, c’est que les plateformes logicielles proposées sont trop complexes et exigent encore trop de mobiliser des compétences informatiques et techniques. Tout ça dans un contexte où les profils informatiques se font de plus en plus rares. Il faut arriver au point où la complexité technologique disparaît et où les solutions sont exploitables par des gens ayant avant tout des compétences métier et non des compétences technologiques. Un peu comme avec un iPhone : simple à utiliser et pourtant bourré d’innovation et de technologie.

C’est en ayant en tête ce contexte, et ces enjeux critiques d’agilité et de productivité, que nous concevons nos solutions logicielles chez Antidot.

Prenez l’exemple de notre solution d’analyse et d’intégration des données AIF  – Information Factory  : nous l’avons pensée et conçue de telle façon que vous pouvez construire des chaînes de traitement de données particulièrement avancées qui vont capter, nettoyer, sémantiser, classer, géotagger, enrichir, lier… des données sans nécessiter aucune connaissance en programmation.

Et notre plus grande fierté c’est de voir des projets incroyables réalisés par des gens du métier, sans compétence en développement.

Car finalement les meilleures technologies sont celles qui savent se faire oublier.