Rappelons d’abord que l’origine du big data est liée à une logique de programmation distribuée dite map-reduce qui a été développée par des sociétés du Web comme Google, Yahoo!, Facebook etc : ces grands sites mondiaux ont des tonnes de données à analyser et ne pouvaient pas se contenter des approches « bases de données centric » habituelles. Dropbox gère 100 millions de sauvegardes de fichiers par jour, Twitter annonce 200 millions de tweets quotidiens, Facebook supporte 250 millions d’uploads de photos par jour et en stocke plus de 40 milliards… Le big data est donc d’abord une approche informatique qui prend le relais quand une implémentation classique basée sur l’utilisation de quelques serveurs, même très costauds, ne suffit plus pour assurer les temps de traitement attendus. Ainsi, ces acteurs exploitent des clusters regroupant chacun plusieurs milliers de serveurs et manipulant des péta-octets ^[1] de données.

D’un point de vue logiciel, le big data est souvent associé à la pile technologique Hadoop mise en open source par Yahoo! et reprise par nombre d’entreprises à vocation commerciale (EMC, Cloudera, Hortonworks…). Hadoop et ses dérivés apportent un système de stockage distribué, une base de données répartie, ainsi qu’un cadre de programmation et d’exécution de tâches de calcul réparties.

Mais à quoi cela sert-il et quel sens cela a-t-il pour la plupart des entreprises qui ont quelques téra-octets de données à analyser ?

Quelques éléments de réponse :

• Le big data est une technologie et non une solution. C’est un moyen et pas une fin. Donc dire « je vais faire du big data » n’a pas de sens car celui-ci ne répond à aucun besoin fonctionnel en particulier. C’est comme dire « je vais faire de la base de données » ou « je vais faire du Web ». Pour quoi faire ? La démarche doit rester pragmatique : partez de votre besoin, voyez s’il est satisfait de façon acceptable par des solutions existantes. Et si rien de ce qui existe ne convient (trop cher, trop lent) alors demandez-vous si une approche alternative exploitant les technologies du big data peut être envisagée.

• Le big data nécessite de très fortes compétences. Tout d’abord, le niveau de maturité des technologies proposées nécessite des ingénieurs qualifiés pour installer, paramétrer, optimiser et faire tourner ces couches logicielles. A fortiori si vous comptez bâtir des solutions opérationnelles critiques. Il en va de même pour le développement des applications car celles qui veulent tirer partie de l’approche doivent être ré-écrites selon les principes du map-reduce. Souvenons-nous que chez Google ou Facebook, ce sont leurs meilleurs ingénieurs logiciels et  mathématiciens qui développent les applications big data.

• Pour faire du big data, il faut beaucoup de données. Des téra-octets, voire plutôt des dizaines de téra-octets. À moins de 10 ou 15 serveurs, le passage au big data n’a pas de sens.
  Un exemple : Oracle vient de sortir une appliance big data petit format : 18 serveurs, 864 Go de mémoire, 648 To de stockage pour la modique somme de 455 000 $. Et encore… il reste à intégrer et à développer les applications qui reposeront sur cette architecture.

  
  Avec l’arrivée des processeurs massivement multi-cœurs, du in-memory computing ou des SSD, la frontière se déplace et pour la majorité des cas, un seul serveur moderne suffit encore. Alors que dans le cas d’un cluster, il faut prendre en compte le coût élevé de possession (TCO) : achat des machines, installation et administration, électricité, froid, maintenance… A fortiori s’il s’agit de n’effectuer que quelques heures ou jours de calcul par mois, la rentabilité d’une telle approche est difficile à atteindre. Big data et cloud computing pourraient alors avoir un avenir commun, mais a condition que les entreprises veuillent bien envoyer dans le cloud leurs téra-octets de données à analyser.

En définitive, il ne s’agit pas de savoir sur combien de serveurs les calculs sont faits, mais de savoir lesquels. Pour quel usage ? Quelle valeur créée ?
C’est pourquoi ce sont plutôt les éditeurs de logiciels qui vont s’emparer du big data, afin d’offrir des solutions opérationnelles répondant aux besoins des entreprises et passant à l’échelle du péta-octets. Les éditeurs de logiciels déjà actifs dans la BI, le data mining ou les moteurs de recherche intégreront ces techniques pour fournir des version « big » de leurs solutions.

Et d’ailleurs qu’en est-il côté Antidot ? Nos solutions sont conçues dès l’origine pour fonctionner aussi bien sur un seul serveur que sur des clusters de machines pour traiter des millions de données et répondre à des centaines de requêtes par seconde. Et nous travaillons déjà à intégrer à nos solutions les apports de l’approche big data.

Mais au delà de la surenchère marketing, nous nous attachons surtout à fournir des solutions qui créent de la valeur pour nos clients. Ainsi, notre framework d’analyse de documents offre des modules prêts à l’emploi couvrant des besoins aussi variés que la classification, la normalisation, l’annotation, l’enrichissement sémantique ou la géolocalisation des données… Agilité et vitesse d’exécution sont des enjeux qui nous semblent plus importants que force et volume.

Conclusion : ce n’est pas la peine de complexer si vous n’avez pas plusieurs centaines de téra-octets de données à analyser et si vous vous sentez exclu du big data. Car en définitive, seule la valeur que vous saurez tirer de vos données a vraiment de l’importance !

[1] un péta-octet, en abrégé Po, représente 10¹⁵ octets, soit mille téra-octets ou un million de giga-octets…

L’ouverture du site data.gouv.fr le 5 décembre 2011, aussitôt suivie d’autres initiatives, a marqué une accélération du mouvement Open Data en France.

Nous avons voulu apporter notre pierre à l’édifice, en réalisant une démonstration qui met en avant le grand intérêt qu’il y a à pouvoir mailler des données issues de différentes sources grâce aux standards du web sémantique, et la capacité de notre solution Antidot Information Factory à le faire rapidement et simplement, dans une approche industrielle.

Et parce que la France demeure année après année la première destination touristique mondiale, parce que nos territoires regorgent de trésors architecturaux et patrimoniaux, nous avons choisi de réaliser une application de recherche qui vous permet de partir à la découverte de près de 44.000 monuments historiques français !

Quelques explications (un peu) techniques :

Notre application « Monuments historiques » a été réalisée en exploitant 7 sources de données ouvertes :

1. la liste des Immeubles protégés au titre des Monuments Historiques disponible sur data.gouv.fr. Cette source de données décrit 43.720 monuments dans un fichier CSV.
2. la liste des gares de voyageurs du Réseau Ferré National avec leurs coordonnées  telle que fournie par data.gouv.fr. Cette source de données décrit 3.065 gares dans un fichier XLS. Elle est exploitée pour situer les monuments à proximité d’une gare.
3. la liste des stations du métro parisien avec leurs coordonnées, fournie par OpenStreetMap. Cette source de données décrit 301 stations et elle est exploitée pour situer les monuments à proximité d’une station de métro.
4. les données du code officiel géographique (COG) de l’INSEE. Cette source de données décrit 22 régions, 99 départements, plus de 4.000 cantons et chefs lieux dans un graphe RDF.
5. Les photos des monuments historiques de Wikipedia proposée par Wikimedia Commons. Cette source de données, notamment alimentée par le concours Wiki loves monuments, apporte 122.828 photos pour 12.586 monuments historiques désignés par leur code PA : il s’agit d’un code délivré de façon unique pour chaque monument et présent dans la liste citée en 1.
6. La description des monuments historiques de Wikipedia fournie par DBpedia. Cette source de données en RDF décrit 3,64 millions d’objets, dont 413.000 lieux. Cette source est accessible directement à partir des informations de Wikimedia Commons
7. Les informations de géolocalisation de Yahoo! via Yahoo! PlaceFinder. Cette source permet de géolocaliser à partir de leur adresse les monuments non géolocalisés dans Wikimedia Commons ou DBpedia

La chaine de traitement mise en œuvre pour la réalisation de cette application avec Antidot Information Factory est la suivante :

1. Une première étape de nettoyage, normalisation et transformation en RDF des fichiers CSV et XLS issus de data.gouv.fr au moyen de Google Refine.
2. Récupération des données de Wikimedia Commons : un processus de traitement Antidot Information Factory collecte les informations via l’API de Wikimedia et les transforme en RDF : Antidot Information Factory a permis de construire ce processus industriel sans avoir à écrire une seule ligne de code, simplement en assemblant des modules de traitement pris dans une bibliothèque de 50 modules existants.
3. Récupération des données d’OpenStreetMap pour les stations de métro via son API.
4. Collecte de toutes les informations de géolocalisation par Antidot Information Factory via l’API de Yahoo! PlaceFinder, pour les lieux non déjà géolocalisés.
5. Maillage de toutes les données issues des 7 sources par Antidot Information Factory : le résultat est un graphe RDF comprenant plus de 4,5 millions de triplets, dont près de 450.000 ont été inférés à partir des sources.
6. Ce triple store est ensuite la source unique mise en entrée du module d’indexation du moteur de recherche Antidot Finder Suite.

Le résultat est une application web de recherche permettant  de trouver des monuments historiques

• par une recherche en plein texte
• dans une région, un département ou une ville donnés
• par type de monument : église, château, statue, site industriel
• par période historique : préhistoire, moyen-âge, renaissance etc
• par type de propriétaire : personne ou société privée, commune, Etat…

avec combinaison possible de tous ces critères, sous forme de « facettes de recherche » très simples à manipuler.

Conclusion (provisoire)

Cette application a été réalisée en quelques jours, sans impliquer de développeurs et par simple paramétrage de notre solution Antidot Information Factory. Cela montre, s’il en est encore besoin, la puissance et la justesse de l’approche et des technologies du Web Sémantique promues par le W3C.

Cette application démontre que l’Open Data favorise l’émergence de nouveaux usages : par la mise à disposition de données qui sont facilement reliées à d’autres données, la seule limite devient notre imagination et notre capacité à proposer de nouveaux services innovants et utiles !

Merci à tous les fournisseurs de données qui ont rendu possible cette réalisation, notamment le Ministère de la Culture et de la Communication pour la liste des monuments historiques et la Société Nationale des Chemins de Fer pour la liste des gares, avec une mention toute particulière pour les contributeurs de Wikipedia, que vous pouvez soutenir par un don.

A vous maintenant de partir à la découverte de nos monuments historiques, au gré de vos envies !

Crédits : Etalab | Wikimedia Commons | DBpedia | Open Street Map | INSEE | Wikipedia francophone | Wikipedia anglophone

Application réalisée avec Antidot Information Factory – Nous contacter : info@antidot.net

Le contenu de ce billet est sous licence CC BY-SA. Traduction en anglais disponible ici.

Chez Antidot, l’approche Open Data nous enthousiasme vraiment, car nous sommes convaincus que c’est le début d’un mouvement qui, en ouvrant les données publiques, va permettre à l’intelligence individuelle et collective des citoyens d’exprimer sa créativité.

Désormais, les données commencent à être publiées, et les standards, technologies et outils sont disponibles : et du coup, tout le monde va comprendre que l’Open Data n’est plus un problème de “comment faire“, mais bien de “que faire” et surtout “pourquoi le faire“.

Or le “que faire” et le “pourquoi le faire” peuvent justifier d’interconnecter des jeux de données issus de producteurs très différents, et de mailler des informations de nature très diverses pour les réutiliser d’une façon qui n’avait pas encore été imaginée. Et du coup, on en vient à considérer qu’il faut partager des données les plus brutes possibles, sans le filtre d’APIs qui présupposent des usages et en limitent d’autres. Espérer que des APIs propriétaires associées à chaque jeu de données vont être vraiment utiles est illusoire, pour une raison très simple : si, pour bâtir une application exploitant 13 jeux de données différents, il faut intégrer 13 APIs de fournisseurs différents, alors le résultat du développement sera un monstre totalement impossible à maintenir et à faire évoluer dans le temps, et donc au final inutile.

Il faut donc que les organisations qui se lancent dans l’Open Data publient des données non seulement ouvertes mais pleinement réutilisables : à cet égard, on ne saurait se contenter de proposer de sous forme d’une collection, aussi riche soit-elle, de fichiers XLS, PDF ou même CSV qui vont nécessiter beaucoup de travail pour que les données qu’ils renferment soient vraiment exploitées. Comme l’a dit fort justement Tim Berners-Lee à TED 2009 : “Raw data now!”

Le W3C a défini des standards pour l’accès aux données brutes, via l’approche du “web sémantique” ou “web des données” qui seul permet une réutilisation généralisée des données, par la mise en réseau massive des silos de données ouvertes où qu’ils se trouvent sur le web. 
Ces standards publiés par le W3C s’appellent RDF, OWL et  SPARQL. ils sont désormais matures et de nombreux outils existent pour les mettre en œuvre.

Nous considérons que la donnée brute en RDF, publiée dans le “nuage du Linked Open Data” ou “LOD cloud” est la seule vraie façon pérenne de permettre une réexploitation massive des données. Et nous ne sommes pas les seuls à le penser, si l’on en juge par la croissance formidable du LOD en l’espace de 4 ans : cliquez sur ces images de 2007, 2009 et 2011  pour les agrandir et mesurer la puissance de ce phénomène.

Pour découvrir l’approche ouverte du “web des données”, nous vous conseillons le lire 3 billets de blog très pédagogiques écrits par notre collaborateur Gautier Poupeau, grand spécialiste du web des données et de l’Open Data. Vous pouvez aussi consulter les différentes présentations d’Antidot sur Slideshare.

Enfin, nous vous rappelons que  notre solution Antidot Information Factory (PDF – 4 pages) permet, de manière industrielle, de mailler très largement des données de provenance et de nature très diverses, de les exploiter et de les valoriser, notamment dans le cadre de projets Open Data ou Linked Data. Par ailleurs, nous avons publié en Open Source une bibliothèque en Java appelée db2triples qui simplifie la transformation en graphe RDF de données issues de bases de données relationnelles classiques. Nos solutions et notre expertise sont à votre disposition, n’hésitez pas à faire appel à nous dans le cadre d’un projet pilote ou d’un “proof of concept” !

La Semantic Web Company est une entreprise viennoise spécialisée, comme son nom l’indique, dans la mise en œuvre des technologies du web sémantique. Dans un billet de blog publié le 26 juin et titré « Dans un proche avenir, les moteurs de recherche basés sur des thésaurus seront généralisés »  SWC publie le résultat d’une étude sur le thème des vocabulaires contrôlés, menée en mai-juin 2011 auprès de plus de 150 intervenants dans 27 pays.

A la première question, « Pensez-vous que les entreprises et autres organisations peuvent grandement bénéficier de l’utilisation du Linked Data ? », la réponse est clairement OUI.

Une question corollaire révèle également que  les organisations de toutes tailles ont globalement la même opinion sur le Linked Data. Seules 14 répondants sur 158 considèrent que le Linked Data est un phénomène de niche. On peut globalement dire que plus de 90% des participants pensent que la plupart ou tout au moins certaines organisations peuvent bénéficier du Linked Data.

Les réponses à la seconde question, « Pensez-vous que les moteurs de recherche qui utilisent des thésaurus afin d’améliorer les résultats seront généralisés ? » sont étonnantes : les deux tiers des participants pensent que la recherche basée sur des thésaurus est déjà ou deviendra dominante dans un avenir proche.

Enfin, les réponses à la question  « Quelle est l’importance de l’utilisation de normes comme SKOS pour les vocabulaires contrôlés ? » parlent d’elles-mêmes.

Plus des trois quarts des participants à l’enquête sont convaincus que des standards comme SKOS sont importants pour leur travail quotidien. Deux ans après l’adoption du nouveau standard SKOS en août 2009, il peut être considéré comme adopté puisque 48,7% des répondants ont déclaré que SKOS est « très important » et 29,1% le désignent comme « pertinent ».

En synthèse de cette étude, on peut dire que la communauté du web sémantique a fait un excellent travail pour convaincre les utilisateurs de vocabulaires contrôlés de tirer avantage de SKOS et du Linked Data. Pour autant, seulement 3 à 5% des interrogés sont informés de l’existence de SparQL considéré comme un outil utile pour construire des API standard autour des vocabulaires contrôlés, afin de réduire les coûts d’implémentation de systèmes d’organisation des connaissances.

Antidot a pris cette orientation il y a plus de 5 ans…

Aujourd’hui, de nombreux articles et conférences sont consacrés aux apports industriels du web sémantique et nous nous en réjouissons.

Car cela fait de nombreuses années qu’Antidot a décidé d’intégrer à ses technologies les standards du web sémantique. Dès 2005, alors même que ces standards étaient encore en discussion au sein du W3C, et après avoir participé à des projets de recherche sur ces sujets, nous sommes allés résolument de l’avant, car nous étions convaincus  que l’amélioration de la qualité des résultats fournis par un moteur de recherche passerait notamment par l’utilisation de thésaurus et de vocabulaires contrôlés.  Ainsi, dès 2007, nous avons mis en œuvre SKOS et RDF dans des projets industriels, par exemple pour le moteur de recherche de petites annonces du groupe PagesJaunes.

Mais bien au delà des apports évidents de l’utilisation des vocabulaires contrôlés et plus largement des référentiels,  notre engagement s’est également porté sur le Linked Data car nous pensons que la consolidation des données internes de l’entreprise avec des données externes démultiplie la valeur de l’information et donc son efficacité pour l’utilisateur. Ces deux points (référentiels et Linked data) sont d’ailleurs liés puisque les référentiels jouent un rôle clés dans le maillage de l’information et servent de pivot pour articuler les données issues de sources diverses.

… et nos choix sont validés par des projets industriels

C’est sur la base de ces travaux, passés de la R&D à l’application concrète, que notre produit phare, le moteur de recherche Antidot Finder Suite, supporte depuis des années les ontologies et thésaurus décrits selon les formalismes OWL et SKOS.

Pour donner un exemple très simple de leur utilisation, c’est grâce à un thésaurus de couleurs nativementexprimé en SKOS, qu’un site marchand vendant des articles textiles et utilisant AFS@Store pourra proposer un vêtement « kaki » à un utilisateur cherchant du « vert » et ceci même si le mot « kaki » ne figure pas explicitement dans la fiche produit :

Autre exemple chez un client institutioneld’Antidot, avec l’AFPA : le moteur de recherche mis en place sur le site web de l’organisme en charge de la formation professionnelle des adultes – www.afpa.fr – intègre le thésaurus Formacode® 2008 pour réaliser une extension sémantique entre le code ROME de l’ANPE et les offres de  formation proposées par l’AFPA :

Cette intégration au moteur de recherche du thésaurus métier, formalisé en SKOS, permet de catégoriser automatiquement toute l’offre de formation et d’y donner accès de manière plus intuitive pour les utilisateurs, qui s’expriment naturellement avec leurs propres mots.

Au-delà de ces deux exemples impliquant la mise en œuvre de vocabulaires contrôlés, Antidot considère que les standards du web sémantique constituent désormais un apport majeur pour mieux

• produire automatiquement des métadonnées sémantisées et standardisées au format RDF, à partir de différentes sources dont on collecte les données qui sont ensuite automatiquement agrégées et dynamiquement articulées ;
• restituer ces données sous forme d’une information nouvelle, enrichie, orientée usage et utilisateur, qui peut être exposée dans la logique du Linked Data.

C’est pour cela que nous avons lancé il y a quelques mois notre solution Antidot Information Factory qui permet de construire et d’exploiter des chaînes de captation et transformation des données pour une mise en relation intelligente des informations disponibles. AIF a rendu possible de grandes réalisations, comme la plateforme ISIDORE du CNRS – TGE Adonis qui apporte un accès unifié à plus d’un million de publications produites par la recherche française en sciences humaines et sociales, et qui constitue à ce jour un des plus grands projets Open Data français.

D’autres projets de grande ampleur, qui tirent parti de façon industrielle des thésaurus, et plus largement du web sémantique et de l’approche du Linked Data, sont en phase de développement chez nos clients et seront mis en production dans les prochains mois. Ces réalisations emblématiques démontrent tout le bien fondé de notre approche technologique, nous ne manquerons pas de vous les présenter le moment venu !

ISIDORE est un projet qui a mobilisé beaucoup d’énergies chez Antidot durant des mois, et qui, comme c’est le cas dans tout grand projet informatique, nous a parfois fait souffrir. Pour autant, nous sommes fiers d’y avoir participé, et cela pour 2 raisons :

ISIDORE est utile à la société

En mettant à disposition du public plus d’un million de publications de la recherche française en sciences humaines et sociales, ISIDORE diffuse de la connaissance. Des savoirs jusqu’alors réservés aux seuls chercheurs sont désormais disponibles, à portée de clic, pour les étudiants et pour toute personne qui s’intéresse à la philosophie, l’histoire, la démographie, la psychologie… Bien entendu, nos technologies sont toujours utiles : Antidot Finder Suite rend service aux consommateurs quand il leur permet de trouver plus facilement les produits répondant à leurs attentes sur les sites web de très nombreux marchands en ligne (*).

AFS est utile quand il permet de trouver de l’information sur les sites de grands médias comme TF1, Radio France ou Le Point, ou de grands services publics comme Service-Public.fr, la Sécurité Sociale, l’Assurance Maladie, les Agences Régionales de Santé, l’INSERM, l’AFPA, l’APCE ou encore l’Autorité de Sûreté Nucléaire… et maintenant ISIDORE !

Car ce qui nous motive tous dans le projet d’entreprise d’Antidot, c’est la mission que nous nous sommes assignée il y a bientôt 12 ans : « conçevoir des solutions d’accès à l’information permettant aux organisations et aux hommes de comprendre, de décider et d’agir ».

ISIDORE a fait progresser Antidot, dont il concrétise la vision

Pour réaliser cet ambitieux projet, nos avons proposé au CNRS de mettre en œuvre les technologies du web des données, sur lesquelles nous travaillons depuis de nombreuses années et qui ont été intégrées au cœur de la version 7 d’Antidot Finder Suite et aussi de notre nouvelle solution Antidot Information Factory qui a été dévoilée il y a 2 semaines au salon Documation.

Ces technologies constituent en effet le moyen le plus efficace pour collecter les contenus de 850 sources représentant plus d’un million de publications, pour nettoyer et normaliser toutes les données, les enrichir (classification automatique, annotation à la volée), et les aligner sur des référentiels partagés par la communauté scientifique. Plus de 30 traitements distincts sont réalisés par Antidot Information Factory sur chaque document collecté afin d’homogénéiser et valoriser l’information contenue.

Les données enrichies sont rendues accessibles via AFS v7, le moteur de recherche sémantique d’Antidot, et sont exposées via un point accès SPARQL dans un souci d’ouverture des données publiques (Open Data), selon les règles du Web de données (Linked Data). Concrètement ISIDORE est aujourd’hui le plus grand projet Linked Data / Open Data mené à bien en France.

Au-delà d’ISIDORE

Antidot apporte une vraie réponse industrielle à une problématique qui se pose désormais à toutes les organisations :

« Comment mieux mailler et articuler les données issues de différents entrepôts pour produire une information contextualisée et donc vraiment pertinente ? »

Avec Antidot Information Factory, conjuguée à notre moteur de recherche Antidot Finder Suite, nos clients peuvent créer un « hub de valorisation et d’accès à l’information » au service de leurs utilisateurs, pour permettre de nouveaux usages qui vont bien au-delà de ce que permettent les approches traditionnelles que sont la « recherche fédérée » ou  les « search based applications » dont les limites sont maintenant bien connues.

Nous remercions les équipes du CNRS – TGE Adonis et CCSd d’avoir choisi nos solutions pour bâtir ISIDORE à qui nous souhaitons une très longue vie !

Pour aller plus loin :

• Présentation du projet ISIDORE par Antidot : document PDF de 4 pages – présentation en 37 diapositives
• Description technique de la solution Antidot Information Factory : document PDF de 4 pages
• Analyse d’ISIDORE avec point de vue d’un utilisateur par le site Descripteurs
• Article de Libération : « Le CNRS lance Isidore, les SHS sur le web »
• Article de NewZilla : « Open Data > Ouverture d’Isidore, le portail du CNRS pour les sciences humaines et sociales »
• Article de NetPublic : « Isidore : nouveau portail pour les sciences humaines et sociales (CNRS) avec 1 million de documents »
• Article de Dominique Desaunay :  « rechercheisidore.fr, une nouvelle plateforme internet du CNRS »
• Interview vidéo de Fabrice Lacroix, président d’Antidot sur ITespresso : « On accompagne le plus gros projet open data en France via le CNRS »

A lire aussi, ces 2 documents complets :

• Présentation PDF 4 pages de la solution Antidot Information Factory
• Présentation PDF 4 pages du projet ISIDORE

(*) 3 Suisses Benelux, 3 Suisses Culture, Bricorama, Camaïeu, Château Online, Cultura, Damart, Discounteo, Feu Vert, Galeries Lafayette, IKKS, Internity, King Jouet, Made in Design, Made in Sport, La Maison de Valérie, Mathon, MotoBlouz, NM Médical, Oreca, Pecheur.com, Petit Bateau, Pimkie, Privilège Discount, Sexy Avenue, Wanimo… utilisent AFS@Store, la déclinaison e-commerce du moteur de recherche AFS, directement dans des logiciels spécifiques, dans des plateformes OpenSource comme Magento ou OS Commerce ou dans les solutions e-commerce de Compario, Digitas ou DotSoft.

Ces rencontres professionnelles du web sémantique s’articulaient autour de 2 journées complémentaires de conférences et de tutoriels. Elles ont rassemblé plus d’une centaine de participants, issus du secteur associatif, du monde académique et de la recherche, de grandes entreprises et de PME innovantes.

Le premier jour, Gautier Poupeau, consultant chez Antidot et membre du comité de programme, participait à la conférence de presse, en compagnie des représentants du W3C, de la BBC, de l’INRIA, et de Logilab.

L’après-midi, Jérôme Mainka, co-fondateur et directeur de la recherche  d’Antidot, est intervenu pour présenter le sujet “Moteurs de recherche et Web Sémantique” – voir sur Slideshare – télécharger le PPT (5,3 Mo).

Le lendemain, Gautier Poupeau a co-animé 2 tutoriels :

• le matin, “RDFa, comment insuffler un peu d’intelligence à une page Web ?” en compagnie d’Ivan Herman, en charge du Semantic Web au W3C – voir sur slideshare – télécharger le PPT (2,8 Mo)
  RDFa, comment insuffler un peu d’intelligence à une page Web ?

  Voir toutes les présentations publiées par Antidot.
• l’après-midi, “SPARQL, comment illuminer vos mashups en consommant les données du Linked Data ?” avec Alexandre Passant du DERI – voir sur slideshare – télécharger le PPT (3,6 Mo).
  SPARQL, comment illuminer vos mashups en consommant les données du Linked Data ?

  Voir toutes les présentations publiées par Antidot.

De l’avis des participants, qui durant les 2 journées ont commenté en direct sur Twitter, les présentations et tutoriels étaient de très bon niveau et les échanges  enrichissants.

Des compte-rendus de SemWeb Pro ont été publiés, notamment par

• Emmanuelle Bermès de la BNF
• David Larlet

Nous signalons également ces articles de

• Silicon : “Le web sémantique comme future solution de gestion de l’information“
• Clubic : “Retour sur les enjeux du web sémantique“
• L’informaticien : “Le Web sémantique est encore une problématique majeure“
• Collaboratif-Info : “Le Web sémantique, déjà une réalité, pas encore un phénomène de masse“
• 01Net Pro: “Semweb.pro : la France bien positionnée sur le web sémantique“
• LeMagIT : “Semweb Pro : le web sémantique français se cherche encore des entreprises utilisatrices“

Dès à présent nous vous donnons rendez-vous dans un an, pour SemWeb Pro 2012 !

• améliorer le référencement
• partager et valoriser son catalogue auprès d’un écosystème de partenaires (revendeurs, comparateurs de prix, places de marché).

En plus des techniques traditionnelles (Référencement naturel et API Web) émergent, aujourd’hui, des solutions normalisées (RDFa, Good Relations, Linked Data) issues des travaux menées depuis plus de 10 ans au sein du W3C sur le Web sémantique. Resté longtemps l’apanage des laboratoires de recherche, le Web sémantique est une réalité industrielle implémentée par des grands acteurs du Web tels que Facebook, Yahoo! ou Google, de même que des acteurs du E-Commerce tels que BestBuy, O’Reilly ou overstock.com. Ces initiatives ouvrent une nouvelle ère dans le domaine de la valorisation, du traitement et de la recherche des données du E-Commerce avec l’objectif d’améliorer l’expérience des utilisateurs.

L’essentiel de ce billet reprend les idées exposées dans la présentation « Web sémantique et E-Commerce » disponible sur Slideshare et donnée à l’occasion du salon du E-Commerce à Paris

Le catalogue de produits est la richesse du eCommerçant et le site Web en est la matérialisation, la vitrine « virtuelle » pour les utilisateurs. C’est pourquoi sa maintenance, son enrichissement et sa valorisation sont des facteurs clé de succès pour les sites marchands. La complexité de cette tâche est à la hauteur de l’enjeu et ce travail peut s’avérer rapidement fastidieux et lourd tant pour améliorer la visibilité des produits sur les moteurs de recherche grand public, les techniques dit de référencement naturel étant de plus en plus complexes à maintenir avec l’augmentation de la concurrence, que pour exposer les données du catalogue auprès des partenaires qui présentent chacun des particularités en l’absence de normalisation ou pour l’agrégation de données hétérogènes provenant des différents fournisseurs.

Face à ces difficultés, les technologies du Web sémantique proposent aujourd’hui des solutions.

Telle la tour de Babel, chaque site propose sa solution pour exposer
les données du E-Commerce

Qu’est-ce-que le Web sémantique ou le Web de données ?

Créé il y a plus de 20 ans, le Web constitue un cadre d’interopérabilité pour mettre à disposition, partager et lier des documents sur un réseau de machines connectées. Pour ce faire, il s’appuie sur un ensemble de briques technologiques qui va du langage de communication (HTTP) au langage de structuration d’une page Web (HTML). La force du Web réside dans un consensus né de la normalisation de ces briques ce qui assure l’interopérabilité. Dans le même état d’esprit, le W3C, l’organisme de normalisation du Web, et de nombreux laboratoires de recherche travaillent depuis plus de 10 ans à l’élaboration avec la même architecture technologique d’un cadre d’interopérabilité pour mettre à disposition, partager et lier des données structurées. Alors que les documents étaient à destination des humains, cette nouvelle étape dans l’histoire du Web a vocation à améliorer le traitement des informations et des données par les machines dans un contexte de réseau décentralisé.

S’appuyant sur l’architecture du Web (protocole HTTP, principe d’identification avec des URL), le Web sémantique propose lui-même un ensemble de briques technologiques (RDF, OWL/RDFS, SKOS, SPARQL).

Exposer la richesse de son catalogue dans les pages Web

A la différence d’un humain, une machine n’est pas en capacité de comprendre les différentes informations d’une fiche de caractéristique produit publiée sur une page Web. En particulier, les moteurs de recherche n’identifient pas directement le sens des différentes données et ne savent pas faire de différences entre l’intitulé du produit, sa marque, sa description ou encore son prix. En effet, le but poursuivi par HTML n’est pas d’encoder le sens des informations, mais la structure de la page Web en vue de sa lecture par un humain. A l’inverse, le modèle RDF poursuit précisément cet objectif. Afin de réconcilier les deux au sein d’une page Web, le W3C a mis au point une syntaxe, le RDFa, pour ajouter des assertions/triplets RDF dans le code HTML. Cette syntaxe se présente sous la forme d’attributs invisibles pour l’utilisateur, mais que la machine sera en capacité d’analyser.

Mais, si le W3C a normalisé le modèle (RDF) et la syntaxe (RDFa), c’est-à-dire la manière d’introduire du RDF dans le HTML, en revanche il ne s’occupe pas de normaliser tous les vocabulaires pour tous les domaines. Or, pour assurer toutes les conditions d’interopérabilité, il est nécessaire, comme pour les humains, d’utiliser le même vocabulaire. Dans le domaine du E-Commerce, le RDFa devient peu à peu un enjeu pour améliorer le référencement. Yahoo!, tout d’abord, avec le programme SearchMonkey, Google avec les Google Rich Snippets et, enfin, Facebook avec l’Open Graph Protocol ont annoncé le support de RDFa pour améliorer le rendu des résultats de la recherche ou des recommandations de leurs utilisateurs. Dans ce cadre, ils proposaient tous les deux des vocabulaires spécifiques. De manière parallèle, un chercheur allemand, Martin Hepp, a mis au point et initié la promotion d’un autre vocabulaire beaucoup plus complet, Good Relations.

L’annonce de l’arrêt de SearchMonkey suite à la décision de Yahoo! d’arrêter ces activités “Moteur de recherche” au profit de celui de Microsoft, Bing, et l’annonce récente par Google du support de Good Relations le propulsent comme le vocabulaire de référence pour décrire des produits. Même si le programme Google Rich Snippet n’est actuellement pas disponible dans sa partie “Produits” sur les déclinaisons européennes du moteur de recherche, Google a d’ors et déjà annoncé que ses équipes y travaillaient. Lorsqu’on voit un groupe comme BestBuy qui annonce une augmentation de 30% de son trafic suite à l’implémentation de RDFa et Good relations dans ses pages, on ne peut qu’inviter les sites marchands français à préparer l’avenir et à s’y mettre dès maintenant.

Exemple de Google Rich Snippet avec RDFa et Good Relations

Maintenant que nous avons exposé les enjeux et le contexte industriel, nous verrons dans le prochain billet comment concrètement ajouter du RDFa dans une page Web, ainsi que l’apport des solutions Antidot dans ce domaine.

Comme nous l’avons vu, les référentiels servent à organiser du vocabulaire, c’est-à-dire des mots qui représentent eux-mêmes des personnes, des objets, des choses …
Et c’est là que le bât blesse : les concepts décrits par ces mots sont sous entendus. Ce que décrivent les mots n’est pas  explicité et c’est au lecteur de le déduire.

Exemple :
Si je vous dis « De Gaulle, Mitterrand, Chirac, Sarkozy » … vous répondez Président de la République.
Si je  dis « Cresson, Fillon, Villepin, Jospin » … vous répondez Premier Ministre.
Et pour « Laguiller, Bayrou, Accoyer, Strauss-Kahn », vous pensez personne-politique.

Dans un beau référentiel de type « taxonomie », ou système de classement, nous aurions pu ranger tout ça de la façon suivante :

Personnages politiques
+ Président
|   De Gaulle
|   Mitterrand
|   …
+ Premier ministre
|   Jospin
|   Fillon
|   …
+ Autre
|   Accoyer
|   Strauss Kahn
|   …


Cette taxonomie semble efficace et permet de ranger, classer et organiser les hommes politiques français. Mais si on regarde bien, cette solution a des limites.
La hiérarchie semble décrire une spécialisation, allant du plus générique au plus spécifique :
• Président est une sorte de d’Homme Politique,
• Premier Ministre est une sorte d’Homme Politique.

Mais De Gaulle est une sorte de Président, ça ne va pas. Car “De Gaulle est un Président” et non pas « une sorte de ». On dirait en employant un vocabulaire plus technique et informatique que “Président est une sous classe d’Homme Politique” alors que “De Gaulle est une instance de Président”. Et ça n’est pas pareil. On constate donc que notre taxonomie mélange en fait les niveaux logiques : elle mixe les concepts et les objets.

On a également des cas plus complexes : Chirac fut Premier Ministre et Président. Faut-il dupliquer l’entrée et le mettre dans les deux branches de la taxonomie ? Mais comment être sûr qu’il s’agit de la même personne ?

Et bien une ontologie ça sert à résoudre tous ces petits problèmes en permettant de modéliser les types d’objets et la façon dont ils interagissent.
On peut ainsi définir une classe “Homme Politique“, puis des classes “Président” et “Premier Ministre” comme sous classes de “Homme Politique“. On peut aussi préciser des règles qui décrivent des interactions entre les classes. Exemple : “un Premier Ministre est nommé par le Président“.

Voilà, une ontologie, ça sert à ça : à décrire des aspects du monde (la politique, les médicaments, les voitures, …) en modélisant les choses qui constituent le monde. Tout cela permet aux machines de manipuler ces concepts et de faire des opérations très poussées. On parle alors de raisonnement. Ainsi supposons que nous soumettions à une machine la phrase “Nicolas Sarkozy vient de nommer François Fillon au poste de premier Ministre“, celle-ci serait capable de déduire automatiquement que Nicolas Sarkozy est Président et François Fillon Premier Ministre. Elle pourrait également en déduire que ces deux personnalités sont des Hommes Politiques.

Et les référentiels dans tout ça ? Et bien nos référentiels contiennent des mots qui permettent de nommer les concepts et les objets eux-mêmes. Les mots permettent de faire le lien entre l’homme et la machine. Les mots sont des étiquettes posées sur les objets pour les identifier. Et lorsqu’une ontologie contient tout le vocabulaire nécessaire à ce qu’elle décrit et manipule , on parle de référentiel onto-terminologique.

Dans un prochain billet, nous verrons comment ces ontologies peuvent être exploitées par les moteurs de recherche.

Note pour les puristes : oui la modélisation indiquée ici est simpliste. Il faudrait séparer la modélisation des personnes et de leur fonction, et introduire les modes d’accès à la fonction et la dimension temporelle.

« Au commencement était le Verbe… et le Verbe s’est fait chair. » Puis les hommes se sont mis à assembler des mots entre eux pour s’exprimer. Le langage, cette fonction qui nous semble tellement élémentaire, a été l’un des premiers grands chantiers de l’Intelligence Artificielle. En effet, dès la fin des années cinquante, l’expérience de Georgetown, menée notamment par IBM, a suscité un espoir démesuré : « within three or five years, machine translation would be a solved problem ». Cet espoir fut à la hauteur de la désillusion provoquée par les faibles résultats constatés.

Cinquante ans plus tard, où en sommes-nous ? La description formelle des langues pour leur utilisation dans des systèmes automatisés a montré ses limites. L’utilisation exclusive de grammaires formelles est incapable de saisir la complexité d’une langue. La principale difficulté réside en un seul mot : ambiguïté. Les rustines techniques ne manquent pas pour tenter de contourner le problème et les années soixante-dix et quatre-vingt ont été particulièrement riches dans la mise en place de systèmes de règles sémantiques, supposées permettre une plus grande précision dans l’analyse de la langue. Ces systèmes n’ont pourtant apporté que des améliorations marginales dans le traitement automatisé de la langue.

L’arme fatale

En fait, la « balle d’argent » semble avoir été tirée par un curieux fusil que le monde de l’informatique et de l’IA semblait avoir négligé : la probabilité. Avec l’introduction de modèles de langue probabilistes, Google, pour sa première participation en 2008, a classé son système de traduction automatique à la première place de toutes les tâches de la campagne Open Machine Translation du NIST (arabe vers anglais, chinois vers anglais, ourdou vers anglais, anglais vers chinois).

En à peine vingt ans, les techniques probabilistes ont propulsé les capacités des systèmes de traduction automatiques à des hauteurs que quarante ans de systèmes formels n’avaient fait qu’entrevoir.

Le LDA pour les nuls

Ces résultats ont encouragé les chercheurs à appliquer le paradigme probabiliste à d’autres tâches au sein du traitement automatique du langage. Et l’un des concepts les plus prometteurs dans ce domaine est le LDA, ou Latent Dirichlet Allocation. Nous nous plaçons cette fois-ci dans le cadre d’un grand nombre de documents, ce qu’on appelle un corpus. Chaque document est vu comme un sac de mots. Le paragraphe précédent peut par exemple être vu comme un document dans lequel le mot « automatiques » apparaît 1 fois, et le mot « systèmes », 2 fois. On voit qu’il est assez trivial de considérer un document comme une distribution de probabilité sur l’ensemble des mots. Si j’ai le document « a b a c », je peux considérer ce document comme une distribution des mots « a », « b », « c »  et « d » avec les probabilités 2/4, 1/4,  1/4 et 0.

L’idée de LDA est qu’au lieu de considérer un document comme une distribution sur des mots, on le considère comme une distribution de probabilité sur des topics (sujets), eux-mêmes vus comme des distributions sur les mots. Je ne rentrerai pas dans les détails du modèle et je me contenterai de l’illustrer sur un cas concret.

Un exemple de LDA

J’ai effectué un LDA sur la presse quotidienne nationale sur la période du 18 au 23 janvier 2010, à partir de l’excellent site Pikanews. Le résultat de l’algorithme du LDA appliqué à ce corpus génère un ensemble de topics, caractérisés eux-mêmes par des mots. Voici un extrait de ces topics générés :

On constate par exemple que le mot « Sénat » se retrouve dans deux topics différents.

Dans l’extrait suivant, le mot « sénat » apparaît dans le contexte de l’élection du Massachusetts :

La détermination de l’administration Obama à brider Wall Street risque toutefois de butter contre une nouvelle réalité politique : comme pour le projet d’une taxe spéciale sur les banques, ces mesures doivent être approuvées par le Congrès. Et le revers électoral subi par les démocrates, mardi, dans l’Etat du Massachusetts leur a fait perdre la majorité qualifiée au Sénat. Une majorité pourtant indispensable afin de faire adopter leurs projets sans risquer une obstruction républicaine.

Alors que dans l’extrait suivant le mot « Sénat » est raccroché au projet de réforme des collectivités territoriales :

Après avoir sillonné les fédérations UMP pendant des semaines pour promouvoir la réforme territoriale, Dominique Perben ne cache pas sa déception : le texte que les sénateurs ont commencé à examiner hier, en séance plénière, est, selon lui, bien en deçà des ambitions du projet gouvernemental. Invité du « Talk Orange-Le Figaro », il a regretté en particulier que « le texte du Sénat soit très en retrait sur les métropoles ».

L’analyse effectuée par le LDA, sans aucune intervention humaine, sans aucune modélisation a priori ni connaissance linguistique autre que l’isolation de tokens (mots) à l’intérieur d’un texte, est remarquable. Le LDA identifie automatiquement l’usage du mot « Sénat » dans différents contextes. On voit l’intérêt que l’on pourrait retirer d’une telle analyse dans le cadre, par exemple, de la désambigüisation de termes ou de fonctions.

Le LDA sert d’ailleurs déjà de socle à différents traitements classiques dans le traitement automatique du langage : clusterisation, catégorisation automatique, annotation morpho-syntaxique, etc. Les études publiées depuis environ cinq ans à ce sujet montrent que le gain apporté par la démarche est souvent très significatif. Assistera-t-on à la même explosion des performances de ces outils que celle dont a bénéficié la traduction automatique ?

En tout cas, chez Antidot, nous y croyons. Nous travaillons sur le sujet depuis un moment déjà,  et la prochaine version d’AFS – la v7 qui sortira en avril 2010 – inclut les premiers résultats de nos recherches. Si vous voulez en savoir plus, venez nous rendre visite sur le salon Documation. Croyez-moi, c’est bluffant !

Tout d’abord, il y a l’indexation sémantique : celle qui consiste, lors de l’analyse d’un document, à rattacher chaque mot à un concept sous-jacent. Ainsi, par exemple, pour le mot jaguar, il faut déterminer s’il s’agit du félin, de la voiture ou de l’avion. Et ça, c’est compliqué. Tout d’abord, il faut une “liste” de concepts cibles (le sens du truc qui est derrière le mot) pour pouvoir transformer le mot en concept. Il faut donc avoir modélisé tous les concepts… Autant dire que c’est peine perdue : cela sous entendrait que tout le monde pense de la même façon et se représente le monde à l’identique. Ensuite, il ne faut pas se tromper lors de l’analyse : faux amis, ambiguïté… Et d’ailleurs, tout ça est tellement compliqué que ça n’a jamais marché. C’est sans doute une des grandes errances et un Graal illusoire des moteurs de recherche des années 80-90. Les grands acteurs de ce domaine se sont dès lors fixé des objectifs plus modestes, mais dont les résultats sont plus probants : extraction d’entités nommées, data mining, etc.

Puis il y a l’extension sémantique. Là, plus de concepts, mais seulement des vocabulaires : dictionnaires de synonymes, thésaurus, taxinomies. Le principe est simple : élargir la recherche de l’utilisateur exploitant les synonymes (même sens), les hyperonymes (sens plus large : véhicule est hyperonyme de voiture et camion) et les hyponymes (sens plus réduit). Et donc, si l’utilisateur cherche une chemise verte, il est de bon ton de lui remonter aussi des chemises kaki ou émeraude. C’est ça l’extension sémantique : étendre la recherche de l’utilisateur en appliquant des dictionnaires. Et si possible uniquement du vocabulaire spécifique à domaine et à un objectif fonctionnel afin de ne pas introduire de bruit. Cette méthode, associée à des traitements linguistiques de type lemmatisation, a largement pris le pas sur les autres car elle offre à la fois de bonnes performances tout en garantissant un coût de mise en œuvre et de maintenance réduit. C’est d’ailleurs le choix d’Antidot pour AFS.

Je passe à regret aujourd’hui sur l’indexation sémantique latente (LSI : Latent Semantic Indexing) qui est une approche mathématique permettant de générer automatiquement lors de l’indexation l’ensemble des concepts d’un corpus et de les relier à des mots et des documents caractéristiques. Ce sujet intéressant fera très certainement l’objet d’un prochain billet.

J’en arrive enfin au web sémantique. Et c’est certainement là que règne la plus grande confusion. Car contrairement à ce que le mot « sémantique » laisse suggérer, il ne s’agit pas pour les moteurs de recherche de découvrir les concepts et le sens caché des textes. Bien au contraire. Il s’agit d’expliciter manuellement le sens des informations afin que les ordinateurs puissent les exploiter de façon automatique, sans ambigüité et à grande échelle. Prenons un exemple : sur le site web d’un restaurant on trouve l’information “ouvert tous les jours sauf le lundi hors période scolaire”. On note que cette phrase est déjà ambiguë pour un humain (“hors période scolaire” s’applique-t-il à “tous les jours” ou à “sauf le lundi” ?) mais elle est franchement inexploitable en tant que telle par un moteur de recherche qui vient lire cette page. L’idée sous jacente au web sémantique est donc qu’il faut ajouter dans la page web des informations formelles (grâce à des balises invisibles à l’utilisateur) afin que les logiciels de recherche puissent collecter cette information et l’exploiter.

Le web sémantique est très loin de l’indexation sémantique et des promesses de l’intelligence artificielle des années 80. Pas d’analyse du sens caché, pas de réponse miracle à une question exprimée en langage naturel. Mais c’est sans doute en cela qu’il va tenir ses promesses. Et comme l’avoue Tim Berners Lee, le mot web sémantique est mal choisi (par lui même) car sujet à trop d’incompréhension, et il suggère d’employer maintenant l’expression « web of data » : le web des données.

C’est vrai que ça fait moins rêver… mais comme les mots ont un sens, autant le respecter !