fr
contact
BACK TO THE LIST

AWS Summit 2019, ce que nous avons retenu du point de vue d’un ML Engineer

5 avril 2019

L’AWS Summit Paris 2019 vient de s’achever au Palais de Congrès de Paris. Ce fut l’occasion pour José SANCHEZ, Manager Data Science, de découvrir les nouvelles tendances et les retours d’expériences clients autour de l’IA et de l’industrialisation.

Cet article n’a pas vocation à détailler les solutions AWS mais plus à mettre en valeur les bonnes pratiques afin de tirer le meilleur des enseignements parmi ceux exposés lors de ce sommet.

Pour résumer le AWS Summit en quelques mots : « AWS continue sa forte croissance (44% en Q4-2018 par rapport à Q4-2017), l’industrialisation des algorithmes IA est le sujet phare de 2019, et la conteneurisation et l’approche micro-service est une réalité qui rend plus facile la génération de valeur »

José vous partage ce qu’il a retenu des présentations d’AWS et des retours clients en 4 parties :

  • Points Clés de la Keynote
  • Industrialisation des modèles d’IA : Les musts
  • Conteneurisation : création et management de Dockers
  • DevOps : l’incontournable transformation

Points clés de la Keynote :

  • AWS est maintenant certifié HDS (Hébergeur des Données de Santé), il est dorénavant possible de stocker des données dans la plateforme AWS.
  • AWS a annoncé son partenariat avec Science PO « Public Innovation Lab », afin de se servir des technologies AWS pour améliorer la vie des citoyens avec des prototypes dans les domaines de la santé, du vieillissement et de la mobilité urbaine.
  • AWS a sa propre compétition de voitures autonomes : AWS DeepRacer League
  • Pour se former sur les technologies AWS, dans le domaine du ML on peut visiter les sites : « Machine Learning University » et « Amazon ML Solutions Lab ».

Industrialisation des modèles d’IA : Les musts

Pour réussir en AI, il faut des compétences mixtes : Data Scientists, Data Engineers et Data Analysts

  • Monitorer et assurer la qualité de la donnée : La valeur ajoutée ne pourra pas être garantie si les données dont on se sert ne sont pas propres. La preuve de l’importance de ce point est que certaines entreprises ont créé des équipes dédiées pour le monitoring et le maintien de la qualité de la donnée.
  • Versionnement du code et lancement des tests : Ceci est un must, il est très important de produire des versions de tous les développements, et d’appliquer aux modèles différents tests avant leur mise en production.
  • Passer d’une approche monolithique à une approche micro-service : Il est recommandé d’utiliser des APIs et des end-points pour l’utilisation des modèles de ML. Ceci rend le développement plus fluide, favorisant ainsi la maintenabilité, l’évolutivité et la robustesse des systèmes.
  • Utiliser l’Infra-as-code : L’infrastructure en tant que code permet d’automatiser la gestion et l’approvisionnement de l’infrastructure, adieu les processus manuels et les risques d’erreurs qui viennent avec. Pour ne citer que deux exemples : il est possible de répliquer en une commande une infra située dans l’environnement de dev dans celui de production, ou bien de la détruire sans s’inquiéter des dépendances. Seul un fichier de configuration sera nécessaire pour passer d’un environnement à un autre. Pour plus d’information regarder Terraform ou AWS CloudFormation.
  • Standardiser les outils : Toutes les équipes de l’entreprise doivent utiliser les mêmes outils pour éviter les problèmes de compatibilité. Au moins une personne devra être en charge d’assurer la gouvernance, de fournir les templates et de s’assurer que les équipes suivent les bonnes pratiques de développement.
  • Monitorer les modèles de ML : Les modèles se dégradent dès qu’ils sont mis en production. Il faut donc toujours penser à surveiller le modèle, ses entrées/sorties et à faire un suivi des logs de consommation (RAM, nombre d’appels, fréquence, etc.). De cette façon on pourra détecter à temps les problèmes potentiels de performance et, tout aussi important, déterminer les causes des dégradations.
  • Le DevOps est devenu la norme et c’est une culture à adopter, nous en parlerons plus en détail dans la suite de cet article.
  • Utiliser des tags pour le suivi des coûts : Il est possible d’effectuer un suivi détaillé des coûts sur AWS via le cost-explorer. Par exemple, une entreprise a réussi à économiser 5x ses coûts en ajoutant AWS CloudFront dans son architecture. 

Conteneurisation : création et management de Dockers

  • Packaging polyglotte : On peut faire communiquer des packages entre eux, sans avoir à s’inquiéter des langages avec lesquels ils ont été créés.
  • Cycle de vie d’un Docker : DockerFile —> DockerBuild —> DockerRun pour le faire fonctionner en local sur une machine.
  • Monitoring des Dockers : Bien que la création d’une instance Docker soit simple, l’orchestration des différents dockers reste un challenge difficile à relever sans l’aide d’outils comme Kubernetes, DockerSWARM, etc.
  • Solutions AWS :
    • Pour les environnements où on peut instancier les Dockers : ECS ou Fargate
    • Pour le management des Dockers : EKS (Pour Kubernetes), ECS (Kubernetes modifié par Amazon)

DevOps : L’incontournable transformation

« DevOps améliore l’efficacité des équipes, puis aide à gérer en douceur la croissance émergente de productivité » Nicolas David, AWS

  • DevOps permet de tout automatiser, de la création du code jusqu’à la mise en production et son monitoring. Tout cela en suivant une approche CI/CD (Intégration continue, déploiement continu).
  • Les bénéfices principaux sont :
    • moins de complexité
    • une résolution plus rapide des problèmes
    • une meilleure qualité
  • Comme tout est automatisé, les équipes auront plus de temps pour l’innovation, ce qui n’était pas le cas avant à cause de la tâche « réparer et maintenir »
  • Solutions AWS pour l’industrialisation (liste non exhaustive) : AWS CodePipeline (CodeCommit, CodeBuild, CodeDeploy), AWS X-Ray et AWS CloudWatch.

Nous espérons ainsi que notre analyse vous permettra d’avoir une meilleure compréhension de l’utilisation du cloud pour la mise en production des algorithmes de Machine Learning.

Concocté avec amour par :
José Sanchez

Articles concoctés avec les mêmes ingredients

12 septembre 2023

Axionable et Jupiter Intelligence annoncent la mise en place d’un partenariat exclusif, visant à fournir à leurs clients un accompagnement basé sur des données et analyses climatiques à l’état de l’art

Axionable et Jupiter Intelligence annoncent la mise en place d’un partenariat, visant à fournir à leurs clients un accompagnement basé sur des données et analyses climatiques à l’état de l’art PARIS, France et SAN MATEO, Californie – 12 septembre 2023 – Jupiter Intelligence, le leader du marché en analyse des risques climatiques, annonce aujourd’hui une […]

Gwendal BIHAN
3 août 2022

Le top des lectures / audios de vacances de l’équipe Axionable :

Le top des lectures / audios de vacances de l’équipe Axionable : Comme chaque année, notre équipe vous a concocté sa liste de coups de cœur, à emporter dans vos valises ! Petite nouveauté pour cette fois-ci, on y a glissé quelques podcasts à écouter, en plus des traditionnelles recommandations lectures. Cet été, on vous […]

Marie GEOFFROY-LOMBARD
20 décembre 2021

Le top 5 des lectures de vacances de l’équipe Axionable

Le top 5 des lectures de vacances de l’équipe Axionable : Découvrez la sélection de notre équipe, sérieuse ou divertissante, il y en a pour tous les gouts : développement durable, IA et technologies, science-fiction, grand classique, roman poétique, & bande dessinée… à dévorer au coin du feu ou à glisser sous le sapin : […]

Marie GEOFFROY-LOMBARD
1 décembre 2021

Orano et ses partenaires lancent le projet Usines de Demain

Le groupe Orano et ses partenaires lancent un projet de développement intitulé udd@Orano (pour Usines De Demain sur les sites industriels d’Orano) en vue d’accélérer le déploiement de l’usine du futur au cœur des sites industriels du groupe. Coordonné par Orano, ce projet fédère 11 partenaires industriels durant une période de 36 mois : 6 […]

Quentin FAULCONNIER
Paris
13 rue des Arquebusiers
75003 Paris
contact Contact