fr
contact
BACK TO THE LIST

AWS Summit 2019, ce que nous avons retenu du point de vue d’un ML Engineer

5 avril 2019

L’AWS Summit Paris 2019 vient de s’achever au Palais de Congrès de Paris. Ce fut l’occasion pour José SANCHEZ, Manager Data Science, de découvrir les nouvelles tendances et les retours d’expériences clients autour de l’IA et de l’industrialisation.

Cet article n’a pas vocation à détailler les solutions AWS mais plus à mettre en valeur les bonnes pratiques afin de tirer le meilleur des enseignements parmi ceux exposés lors de ce sommet.

Pour résumer le AWS Summit en quelques mots : « AWS continue sa forte croissance (44% en Q4-2018 par rapport à Q4-2017), l’industrialisation des algorithmes IA est le sujet phare de 2019, et la conteneurisation et l’approche micro-service est une réalité qui rend plus facile la génération de valeur »

José vous partage ce qu’il a retenu des présentations d’AWS et des retours clients en 4 parties :

  • Points Clés de la Keynote
  • Industrialisation des modèles d’IA : Les musts
  • Conteneurisation : création et management de Dockers
  • DevOps : l’incontournable transformation

Points clés de la Keynote :

  • AWS est maintenant certifié HDS (Hébergeur des Données de Santé), il est dorénavant possible de stocker des données dans la plateforme AWS.
  • AWS a annoncé son partenariat avec Science PO « Public Innovation Lab », afin de se servir des technologies AWS pour améliorer la vie des citoyens avec des prototypes dans les domaines de la santé, du vieillissement et de la mobilité urbaine.
  • AWS a sa propre compétition de voitures autonomes : AWS DeepRacer League
  • Pour se former sur les technologies AWS, dans le domaine du ML on peut visiter les sites : « Machine Learning University » et « Amazon ML Solutions Lab ».

Industrialisation des modèles d’IA : Les musts

Pour réussir en AI, il faut des compétences mixtes : Data Scientists, Data Engineers et Data Analysts

  • Monitorer et assurer la qualité de la donnée : La valeur ajoutée ne pourra pas être garantie si les données dont on se sert ne sont pas propres. La preuve de l’importance de ce point est que certaines entreprises ont créé des équipes dédiées pour le monitoring et le maintien de la qualité de la donnée.
  • Versionnement du code et lancement des tests : Ceci est un must, il est très important de produire des versions de tous les développements, et d’appliquer aux modèles différents tests avant leur mise en production.
  • Passer d’une approche monolithique à une approche micro-service : Il est recommandé d’utiliser des APIs et des end-points pour l’utilisation des modèles de ML. Ceci rend le développement plus fluide, favorisant ainsi la maintenabilité, l’évolutivité et la robustesse des systèmes.
  • Utiliser l’Infra-as-code : L’infrastructure en tant que code permet d’automatiser la gestion et l’approvisionnement de l’infrastructure, adieu les processus manuels et les risques d’erreurs qui viennent avec. Pour ne citer que deux exemples : il est possible de répliquer en une commande une infra située dans l’environnement de dev dans celui de production, ou bien de la détruire sans s’inquiéter des dépendances. Seul un fichier de configuration sera nécessaire pour passer d’un environnement à un autre. Pour plus d’information regarder Terraform ou AWS CloudFormation.
  • Standardiser les outils : Toutes les équipes de l’entreprise doivent utiliser les mêmes outils pour éviter les problèmes de compatibilité. Au moins une personne devra être en charge d’assurer la gouvernance, de fournir les templates et de s’assurer que les équipes suivent les bonnes pratiques de développement.
  • Monitorer les modèles de ML : Les modèles se dégradent dès qu’ils sont mis en production. Il faut donc toujours penser à surveiller le modèle, ses entrées/sorties et à faire un suivi des logs de consommation (RAM, nombre d’appels, fréquence, etc.). De cette façon on pourra détecter à temps les problèmes potentiels de performance et, tout aussi important, déterminer les causes des dégradations.
  • Le DevOps est devenu la norme et c’est une culture à adopter, nous en parlerons plus en détail dans la suite de cet article.
  • Utiliser des tags pour le suivi des coûts : Il est possible d’effectuer un suivi détaillé des coûts sur AWS via le cost-explorer. Par exemple, une entreprise a réussi à économiser 5x ses coûts en ajoutant AWS CloudFront dans son architecture. 

Conteneurisation : création et management de Dockers

  • Packaging polyglotte : On peut faire communiquer des packages entre eux, sans avoir à s’inquiéter des langages avec lesquels ils ont été créés.
  • Cycle de vie d’un Docker : DockerFile —> DockerBuild —> DockerRun pour le faire fonctionner en local sur une machine.
  • Monitoring des Dockers : Bien que la création d’une instance Docker soit simple, l’orchestration des différents dockers reste un challenge difficile à relever sans l’aide d’outils comme Kubernetes, DockerSWARM, etc.
  • Solutions AWS :
    • Pour les environnements où on peut instancier les Dockers : ECS ou Fargate
    • Pour le management des Dockers : EKS (Pour Kubernetes), ECS (Kubernetes modifié par Amazon)

DevOps : L’incontournable transformation

« DevOps améliore l’efficacité des équipes, puis aide à gérer en douceur la croissance émergente de productivité » Nicolas David, AWS

  • DevOps permet de tout automatiser, de la création du code jusqu’à la mise en production et son monitoring. Tout cela en suivant une approche CI/CD (Intégration continue, déploiement continu).
  • Les bénéfices principaux sont :
    • moins de complexité
    • une résolution plus rapide des problèmes
    • une meilleure qualité
  • Comme tout est automatisé, les équipes auront plus de temps pour l’innovation, ce qui n’était pas le cas avant à cause de la tâche « réparer et maintenir »
  • Solutions AWS pour l’industrialisation (liste non exhaustive) : AWS CodePipeline (CodeCommit, CodeBuild, CodeDeploy), AWS X-Ray et AWS CloudWatch.

Nous espérons ainsi que notre analyse vous permettra d’avoir une meilleure compréhension de l’utilisation du cloud pour la mise en production des algorithmes de Machine Learning.

Concocté avec amour par :
José Sanchez

Articles concoctés avec les mêmes ingredients

7 juin 2021

Trois jours à ChangeNOW

ChangeNOW 2021 Du 27 au 29 mai dernier s’est tenue la quatrième édition de ChangeNOW, le sommet international de référence en matière d’innovation environnementale, et Axionable était présent ! Lors de ces trois jours de rencontres en ligne, 500 intervenant·es originaires de 120 pays différents ont pu échanger et proposer au total plus de 1000 […]

Anouk PERRIER
Quentin FAULCONNIER
3 juin 2021

[REPLAY] Axionable & Allianz at Change Now 2021 : AI for climate resilience

[Workshop] AI for climate resilience Facing climate challenges, responsible AI can provide societal & sustainable solutions, including improvement of risk management for weather-related perils. To know more, discover Axionable use cases solved by AI with positive & measurable impacts, especially our joint feedback with Allianz to manage & predict weather related perils in a changing […]

Minetou NDIAYE
27 mai 2021

Axionable développe sa solution de prédiction et d’adaptation aux risques climatiques

Labellisée par l’ADEME et le Ministère de la Transition Écologique (GreenTech Innovation), cette solution permet à tous les secteurs concernés par les risques climatiques de prédire et scénariser finement les impacts de ces risques et de s’y adapter. D’ici 20 ans, les changements climatiques coûteront 13 milliards d’euros Les changements climatiques sont au cœur des […]

Gwendal BIHAN
3 mai 2021

Axionable obtient la labellisation Greentech Innovation !

Axionable obtient la labellisation Greentech Innovation ! Nous rejoignons ainsi une communauté riche de 170 startups innovantes qui développent de nouveaux produits, usages et services à finalité durables sur les différentes thématiques du Ministère de la Transition Écologique. La labellisation de notre solution de prévention des risques climatiques grâce à l’IA symbolise pour Axionable la […]

Quentin FAULCONNIER

Ready for sustainable AI?

Let's make an appointment to discuss our approach
career solutions and opportunities
Contactez-nous
Paris
13 rue des Arquebusiers
75003 Paris
Montréal
1275 Avenue Des Canadiens-De-Montréal, Montréal, QC, H3B 0G4
contact Contact