Antidot et Open Source : Pyckson

Antidot et l’Open Source

Antidot utilise pour le développement de ses produits beaucoup de logiciels Open Source. Et nous essayons, chaque fois que cela est possible, d’apporter en retour notre contribution à la communauté.

Open-SourceCela se fait sous forme de patches / pull request (nous proposons des correctifs qui sont intégrés au logiciel), d’éléments permettant d’enrichir nos plateformes (API, modules…) ou de logiciels autonomes (comme par exemple db2triples qui permet d’exploiter le contenu de bases de données relationnelles avec les technologies du Web Sémantique).

shutterstock_194620346

Il arrive que nos développeurs passionnés commencent sur leur temps personnel une brique technologique qui s’avère être particulièrement utile à notre travail. Nous encourageons alors cet effort et fournissons du temps et des ressources pour accompagner la finalisation d’une première version du projet et sa diffusion (par exemple lors de nos Brown Bags hebdomadaires)

La suite de ce billet de blog est rédigée par Jean Giard, développeur senior à la R&D d’Antidot, qui présente Pyckson, un outil permettant à un logiciel en Python d’importer / exporter facilement des objets en JSON.

Stéphane Loesel

PS – Vous retrouverez nos logiciels OpenSource sur le github d’Antidot à l’adresse :
https://github.com/Antidot

GitHub-Mark  GitHub-Logo

N’hésitez pas à utiliser notre code, le relire, nous poser des questions ou nous proposer des améliorations. Vous pouvez nous joindre à l’adresse opensource@antidot.net


Pyckson : un outil de mapping objet-JSON en python

Un peu d’histoire

Je travaille chez Antidot depuis plus de 5 ans, à ma sortie d’école.

J’ai travaillé pendant 4 ans en Python / C++ sur le moteur de recherche Antidot Finder Suite, où j’ai développé mes connaissances de bases en développement et méthodologie.

Il y a un an et demi je suis passé dans l’équipe qui travaille sur le produit Fluid Topics et développe en Java / Python. J’ai découvert tout un tas de nouveau design-pattern inaccessibles en Java : injection, orm, streams.

D’un autre coté je continuais à m’améliorer en Python mais un truc principal m’embêtait : sérialiser mes objets Python en JSON.

Alors qu’en Java tout avait l’air si simple avec un mix de Jackson / AutoValue, en Python je devais continuer à écrire des classes de sérialisation /désérialisation, ça ne pouvait plus durer !

Quelles solutions ?

J’ai cherché quelques temps si Python avait une librairie pour faire ce genre d’opérations mais je n’ai rien trouvé. Ce qui s’en rapprochait le plus était le module pickle mais il ne correspondait pas à mes principaux besoins :

  •  produire / lire du JSON « propre », i.e. sans contournement bizarre du genre insérer des infos pour parser l’objet
  •  du camelCase automatique pour respecter le coding-style Python tout en étant compatible avec le style des objects des web-services du serveur en Java
  •  la classe Python doit pouvoir être simple : rien d’autre qu’un constructeur et des attributs

Je me suis donc décidé à écrire ma propre librairie qui répondait a ce besoin : Pyckson

Principes de Pyckson

Pyckson fonctionne en introspectant les constructeurs des classes annotées et celles ci doivent correspondre à une structure bien particulière

  •  tous les paramètres doivent être annotés par leur type.
  •  les paramètres du constructeur doivent être assignés à des attributs du même nom.
  •  Pyckson camelCase automatiquement les noms des attributs pour la sérialisation.
  •  tous les attributs de type non primitif doivent aussi être annotés avec pyckson

Inconvénients

Bien entendu Python n’est pas aussi complet que Java en ce qui concerne le typage / l’introspection et on tombe vite sur quelques contraintes.

Les listes ne peuvent pas être typées, du coup Pyckson utilise une annotation supplémentaire pour indiquer le type du contenu d’une liste.

Les enum python3 ont un nom et une valeur, Pyckson utilise le nom de l’enum pour sérialiser, case sensitive par défaut.

Petits bonus

Pyckson utilise la librairie standard JSON et se charge de la transformation objet -> dictionnaire, du coup on peut aussi utiliser Pyckson pour faire du Yaml ou du Bson (avec MongoDB par exemple).

Pyckson supporte le fait d’utiliser une string pour typer un paramètre, par exemple pour définir une structure récursive.

Pyckson comprend qu’un paramètre est optionnel quand il a une valeur par défaut.

Exemple

Je définis mes objets en Python :

@pyckson
class Foo:
    def __init__(self, value: str):
        self.value = value

@pyckson
@listtype('my_foo_list', Foo)
class Bar:
    def __init__(self, my_foo_list: list):
        self.my_foo_list = my_foo_list

Puis j’appelle Pyckson :

:::python
foos = [Foo('first'), Foo('second')]
bar = Bar(foos)
print(serialize(bar))

> {"myFooList": [{"value": "first"}, {"value": "second"}]}

Lien vers le projet github : https://github.com/antidot/Pyckson

Voilà, vous savez tout sur Pyckson !

Jean Giard

La culture de l’innovation chez Antidot : les conférences

Un éditeur de logiciels innovants se doit d’entretenir une culture de l’innovation au sein de ses équipes. Chez Antidot, nous utilisons plusieurs outils pour cela : les Brown Bags, les Ship It, le développement de prototypes, la publication de logiciels en Open Source

Il est important de compléter cette palette en ajoutant de l’entropie – être ouvert à d’autres idées, à des méthodes de travail alternatives – et en veillant à rester informé des dernières évolutions des techniques, langages et frameworks que nous utilisons. Pour cela nos développeurs participent à des évènements, grands ou petits, locaux ou internationaux, tout au long de l’année.

L’objectif de ce billet est de vous présenter les nombreux évènements auxquels nous avons participé en 2015. Chacune de ces manifestations est illustrée par le témoignage d’un développeur qui y a participé :

FOSDEM – 31 janvier et 1er février 2015, Bruxelles

Aurélien : « J’ai eu l’occasion d’assister au FOSDEM à Bruxelles en 2012/2013/2014/2015.Un moment formidable pour rencontrer et échanger avec la communauté open source et les représentants de ses projets les plus populaires : Linux, Firefox, Gnome, KDE, Python, … Tout ça autour d’une bonne bière belge et d’environ 5000 amis barbus. Vivement le FOSDEM 2016 et son 5ème t-shirt pour tenir toute la semaine. »

Devoxx France – 8-10 avril 2015, Paris

Hervé : « Devoxx France, c’est l’occasion de découvrir de nouveaux outils, de nouvelles bibliothèques mais aussi d’avoir des retours d’expériences. »

Mix-It (16-17 avril 2015, Lyon

Mathias : « Outre le fait que Mix-It permet de prendre du recul sur son travail quotidien, les diverses conférences et ateliers sont des lieux pour rencontrer des gens passionnés et passionnants. Alors n’hésitez pas à participer à ce type d’événement ! »

Riviera Dev – 11-12 juin 2015, Sophia-Antipolis

Jonathan : « 2015, l’année du reboot de Riviera Dev. Après une dernière édition annulée faute de participants, la conférence du soleil renaît, poussée par un crowdfunding auquel nous autres sudistes nous devions de contribuer.

Si petite en renommée elle est encore, grande en qualité Riviera Dev est déjà ! Durant deux jours, les tracks sur Java et le Web s’enchainent. Et parmi les intervenants, on retrouve des pointures de Java (Rémi Forax, Emmanuel Bernard…) et de son écosystème (Tugdual Grall…), mais on découvre aussi de très prometteurs speakers (Hubert Sablonnière…). Et pour varier les plaisirs, il était aussi possible de s’attaquer aux ateliers sushis et DJaying !

Et puis parce que dans le Sud on sait recevoir, on retiendra aussi l’excellent buffet et la socca à volonté, le tout sous un soleil brûlant ! Riviera Dev, à suivre et à soutenir ! »

DockerCon – 16-17 novembre 2015, Barcelone

Charles : « Faire le déplacement à Barcelone pour la DockerCon 2015 m’a permis de sortir de mon cadre de travail habituel pour découvrir d’autres façons de travailler et échanger avec des développeurs du monde entier !

Liste des points positifs : une prise de recul sur son travail et l’environnement qui va avec, de nouvelles idées à mettre en place dans l’entreprise, l’envie de partager avec les collègues, un regain de motivation pour améliorer la qualité de son travail et sa productivité, une synergie accrue avec les développeurs qui ont fait le déplacement ensemble. »

Agile Grenoble – 19 novembre 2015, Grenoble

Benjamin : « Agile Grenoble 2015, une conférence qui permet de découvrir des méthodes utiles au quotidien pour plus d’efficacité et de convivialité dans le développement, et également pour se poser plein de questions sur nos habitudes quotidiennes! »

DevOps Day – 20 novembre 2015, Marseille

Franck : « Il est agréable dans notre région d’avoir désormais un évènement avec des intervenants de qualité, sans trop de langue de bois, et qui amène à une réflexion sur l’évolution de nos métiers et de leurs outils.

Le discours est plutôt orienté technique, avec des retours d’expériences concrets qui donnent une valeur inestimable à ce genre d’évènement. J’espère que la sauce va prendre et que la prochaine édition sera aussi bien que cette première édition. »

NDLR: le terme "bull*t" du texte original a été remplacé par "langue de bois" :-)

Nous participons également à des réunions « locales » plus courtes, en soirée,

Mars Jug – environ tous les deux mois

Olivier : « J’aime aller au MarsJug car on se fait une ou deux voitures de développeurs et on débat entre nous pendant toute la route Lambesc – Marseille !! Souvent, on trouve un speaker sympa et très accessible car c’est un JUG où nous sommes peu nombreux. Ensuite on refait un roadtrip pour rentrer avec en plus le défi de trouver un Quick ou un MacDo ouvert tard le soir. C’est la belle vie !! »

NDLR : Et les Burger King alors ? :-)

Meetups Docker – 16 avril et 16 juillet 2015, Aix en Provence

Benoit : « Les meetups Docker nous ont permis de rencontrer d’autres industriels de la région qui travaillent sur des problématiques proches des nôtres. Le retour d’expérience a été enrichissant. Ces rencontres nous ont même permis de recruter ! »

Nous avons par ailleurs présenté des sessions dans les conférences suivantes :

Agile Aix/Marseille 2015 – Aix en Provence

« Vos tests on besoin d’amour » par Benoit Sautel, qui tient le blog « Fier de coder« .

Blend Web Mix 2015  – 28-29 octobre 2015, Lyon

« Web sémantique, web de données : et si on passait à la pratique » par Pierre Col et
Julien Homo.

Julien Homo : « Pour moi l’originalité de BlendWebMix repose principalement sur sa capacité  à proposer des conférences à un public très hétérogène avec un contenu au périmètre très large. On peut à la fois écouter par exemple Laure Wagner nous raconter l’impressionnante croissance de sa société Blablacar et inversement assister au touchant témoignage de Simon Dawlat qui raconte la chute de son entreprise AppGratis et la vertigineuse descente aux enfers subie ensuite par son équipe. D’un point de vue plus technique, Stéphane Bortzmeyer nous apprend qu’il est possible de hacker directement des registres de noms de domaines tandis que le graphiste Christophe Tauziet de Facebook nous met en garde sur l’impact qu’engendre la moindre modification d’une interface vue par des milliards d’utilisateurs. Autant de sujets à la fois riches, variés et animés par des présentateurs souvent très dynamiques font pour moi de cette conférence un rendez-vous incontournable des différents acteurs du Web d’aujourd’hui et de demain. »

Enfin notre pôle Recherche a animé deux sessions pédagogiques en la personne de Ludovic Samper :

« En 2015, j’ai eu l’occasion de présenter nos travaux à deux occasions : aux élèves de l’ENS de Lyon et lors de l’école d’été WISS. C’est très plaisant de présenter nos travaux au monde de la recherche. Le travail de préparation permet toujours de mieux cerner son sujet. Et surtout, les chercheurs et les étudiants sont intéressés par les problématiques que l’on rencontre dans un contexte plus industriel que le leur. Cet échange peut être l’occasion de commencer des collaborations ou des stages. »

Conférences auxquelles Antidot a participé en 2015

Si vous êtes tentés par l’aventure, si vous voulez participer avec nous à ces évènements…

Antidot recrute !

Antidot à la Web Intelligence Summer School

WISS 2015
La Web Intelligence Summer School 2015 a eu lieu du 31 août au 4 septembre à l’Université de Saint Étienne.

La thématique cette édition 2015 était « Répondre à des questions avec le Web » :

  • Publication de données web : données liées Linked Data,  normes et techniques du web sémantique / web des données
  • Comprendre et analyser une question en langage naturel : NLP / traitement du langage naturel
  • Trouver des données pour répondre à la question et à justifier la réponse : intégration / curation / extraction de données
  • Présenter les réponses : représentation graphique et  visuelle

Vous trouverez ici le programme complet de la Web Intelligence Summer School.

Membre de l’équipe Recherche d’Antidot, Ludovic Samper y a donné mardi 1er septembre de 10h30 à 12h30 un cours de 2 heures sur les techniques d’apprentissage automatique – machine learning. Il y a parlé plus spécifiquement de classification supervisée utilisant scikit-learn, et détaillé certains algorithmes comme NB  – Naïve Bayesian, classification naïve bayésienne – et SVM – Support Vector Machine, machine à vecteurs de support.

Résultats de différents classifieurs avec scikit-learn – cliquez sur l’image pour l’agrandir

Si vous n’avez pas pu y assister, en voici le contenu (en anglais) :


This is all the materials for the course:

The tutorial is about supervised classification of text documents. I’ve presented some classical algorithms (Multinomial Naïve Bayes, Support Vector Machine) and the maths behind. To illustrate the course, I used scikit-learn library and the 20newsgroups dataset.

The slides are here:

And you’ll find here the code I shown using iPython notebook:


 

Partenaires de cet événement :

Université Jean Monnet Laboratoire Hubert Curien École des Mines de Saint Étienne Telecom Saint Étienne CNRS Bonn Universität Fraunhofer Institut