fr
contact
BACK TO THE LIST

AWS Summit 2019, ce que nous avons retenu du point de vue d’un ML Engineer

5 avril 2019

L’AWS Summit Paris 2019 vient de s’achever au Palais de Congrès de Paris. Ce fut l’occasion pour José SANCHEZ, Manager Data Science, de découvrir les nouvelles tendances et les retours d’expériences clients autour de l’IA et de l’industrialisation.

Cet article n’a pas vocation à détailler les solutions AWS mais plus à mettre en valeur les bonnes pratiques afin de tirer le meilleur des enseignements parmi ceux exposés lors de ce sommet.

Pour résumer le AWS Summit en quelques mots : « AWS continue sa forte croissance (44% en Q4-2018 par rapport à Q4-2017), l’industrialisation des algorithmes IA est le sujet phare de 2019, et la conteneurisation et l’approche micro-service est une réalité qui rend plus facile la génération de valeur »

José vous partage ce qu’il a retenu des présentations d’AWS et des retours clients en 4 parties :

  • Points Clés de la Keynote
  • Industrialisation des modèles d’IA : Les musts
  • Conteneurisation : création et management de Dockers
  • DevOps : l’incontournable transformation

Points clés de la Keynote :

  • AWS est maintenant certifié HDS (Hébergeur des Données de Santé), il est dorénavant possible de stocker des données dans la plateforme AWS.
  • AWS a annoncé son partenariat avec Science PO « Public Innovation Lab », afin de se servir des technologies AWS pour améliorer la vie des citoyens avec des prototypes dans les domaines de la santé, du vieillissement et de la mobilité urbaine.
  • AWS a sa propre compétition de voitures autonomes : AWS DeepRacer League
  • Pour se former sur les technologies AWS, dans le domaine du ML on peut visiter les sites : « Machine Learning University » et « Amazon ML Solutions Lab ».

Industrialisation des modèles d’IA : Les musts

Pour réussir en AI, il faut des compétences mixtes : Data Scientists, Data Engineers et Data Analysts

  • Monitorer et assurer la qualité de la donnée : La valeur ajoutée ne pourra pas être garantie si les données dont on se sert ne sont pas propres. La preuve de l’importance de ce point est que certaines entreprises ont créé des équipes dédiées pour le monitoring et le maintien de la qualité de la donnée.
  • Versionnement du code et lancement des tests : Ceci est un must, il est très important de produire des versions de tous les développements, et d’appliquer aux modèles différents tests avant leur mise en production.
  • Passer d’une approche monolithique à une approche micro-service : Il est recommandé d’utiliser des APIs et des end-points pour l’utilisation des modèles de ML. Ceci rend le développement plus fluide, favorisant ainsi la maintenabilité, l’évolutivité et la robustesse des systèmes.
  • Utiliser l’Infra-as-code : L’infrastructure en tant que code permet d’automatiser la gestion et l’approvisionnement de l’infrastructure, adieu les processus manuels et les risques d’erreurs qui viennent avec. Pour ne citer que deux exemples : il est possible de répliquer en une commande une infra située dans l’environnement de dev dans celui de production, ou bien de la détruire sans s’inquiéter des dépendances. Seul un fichier de configuration sera nécessaire pour passer d’un environnement à un autre. Pour plus d’information regarder Terraform ou AWS CloudFormation.
  • Standardiser les outils : Toutes les équipes de l’entreprise doivent utiliser les mêmes outils pour éviter les problèmes de compatibilité. Au moins une personne devra être en charge d’assurer la gouvernance, de fournir les templates et de s’assurer que les équipes suivent les bonnes pratiques de développement.
  • Monitorer les modèles de ML : Les modèles se dégradent dès qu’ils sont mis en production. Il faut donc toujours penser à surveiller le modèle, ses entrées/sorties et à faire un suivi des logs de consommation (RAM, nombre d’appels, fréquence, etc.). De cette façon on pourra détecter à temps les problèmes potentiels de performance et, tout aussi important, déterminer les causes des dégradations.
  • Le DevOps est devenu la norme et c’est une culture à adopter, nous en parlerons plus en détail dans la suite de cet article.
  • Utiliser des tags pour le suivi des coûts : Il est possible d’effectuer un suivi détaillé des coûts sur AWS via le cost-explorer. Par exemple, une entreprise a réussi à économiser 5x ses coûts en ajoutant AWS CloudFront dans son architecture. 

Conteneurisation : création et management de Dockers

  • Packaging polyglotte : On peut faire communiquer des packages entre eux, sans avoir à s’inquiéter des langages avec lesquels ils ont été créés.
  • Cycle de vie d’un Docker : DockerFile —> DockerBuild —> DockerRun pour le faire fonctionner en local sur une machine.
  • Monitoring des Dockers : Bien que la création d’une instance Docker soit simple, l’orchestration des différents dockers reste un challenge difficile à relever sans l’aide d’outils comme Kubernetes, DockerSWARM, etc.
  • Solutions AWS :
    • Pour les environnements où on peut instancier les Dockers : ECS ou Fargate
    • Pour le management des Dockers : EKS (Pour Kubernetes), ECS (Kubernetes modifié par Amazon)

DevOps : L’incontournable transformation

« DevOps améliore l’efficacité des équipes, puis aide à gérer en douceur la croissance émergente de productivité » Nicolas David, AWS

  • DevOps permet de tout automatiser, de la création du code jusqu’à la mise en production et son monitoring. Tout cela en suivant une approche CI/CD (Intégration continue, déploiement continu).
  • Les bénéfices principaux sont :
    • moins de complexité
    • une résolution plus rapide des problèmes
    • une meilleure qualité
  • Comme tout est automatisé, les équipes auront plus de temps pour l’innovation, ce qui n’était pas le cas avant à cause de la tâche « réparer et maintenir »
  • Solutions AWS pour l’industrialisation (liste non exhaustive) : AWS CodePipeline (CodeCommit, CodeBuild, CodeDeploy), AWS X-Ray et AWS CloudWatch.

Nous espérons ainsi que notre analyse vous permettra d’avoir une meilleure compréhension de l’utilisation du cloud pour la mise en production des algorithmes de Machine Learning.

Concocté avec amour par :
José Sanchez

Articles concotés avec les mêmes ingredients

5 juin 2020

[REPLAY] Axionable x Explor’IA – Webinar – L’IA au service de scoring ESG plus performants et transparents

Quelles sont les opportunités IA au service de la finance responsable et des investissements à impact ? « Il nous faudrait un Covid tous les ans pour respecter l’accord de Paris sur le climat » (Jean-Marc Jancovici) Dans le contexte de crise que nous connaissons et qui appelle à se tourner vers une “relance verte”, le secteur […]

Marie Geoffroy-Lombard
4 juin 2020

[REPLAY] Axionable x Explor’IA – Webinar – IA à finalité durable au service de la sortie de crise

Les enjeux de développement durable seront au coeur de la sortie de crise et du plan de relance associé. Dans ce contexte, l’IA peut servir d’accélérateur dans la nécessaire transformation des modèles d’affaires des entreprises. Dans ce webinar, Axionable met en avant l’IA au service de la transformation durable des entreprises, en se focalisant sur […]

Marie Geoffroy-Lombard
27 mai 2020

[REPLAY] Axionable x Explor’IA – Webinar – Responsible Machine Learning

Comment industrialiser de façon responsable le Machine Learning ? Comment développer des IA qui soient responsables “par construction” et qui répondent aux enjeux actuels de gouvernance, d’inclusion, de transparence, d’explicabilité, de robustesse et de privacy, et dont les entrainement sont optimisés pour être les moins consommateurs possible ? Cette session est animée par notre Directeur […]

Marie Geoffroy-Lombard
4 février 2020

ChangeNow 2020 : 3 jours, 5 tendances clés

1. Un momentum : la mobilisation de la société civile accélère la transformation durable des entreprises   L’un des faits les plus marquants de ChangeNow fut l’implication particulière des millenials notamment dans les sujets autour du sens et de l’impact. Présents en nombre à l’événement, soucieux de l’avenir, en quête de sens et d’impact,  ils […]

Eytan Messika

Prêts pour l’IA à finalité durable ?

Prenons rendez-vous pour échanger sur notre approche
unique, solutions et opportunités de carrière
Contactez-nous
Paris
13 rue des Arquebusiers
75003 Paris
Montréal
1275 Avenue Des Canadiens-De-Montréal, Montréal, QC, H3B 0G4
contact Contact