fr
contact
BACK TO THE LIST

AWS Summit 2019, ce que nous avons retenu du point de vue d’un ML Engineer

5 avril 2019

L’AWS Summit Paris 2019 vient de s’achever au Palais de Congrès de Paris. Ce fut l’occasion pour José SANCHEZ, Manager Data Science, de découvrir les nouvelles tendances et les retours d’expériences clients autour de l’IA et de l’industrialisation.

Cet article n’a pas vocation à détailler les solutions AWS mais plus à mettre en valeur les bonnes pratiques afin de tirer le meilleur des enseignements parmi ceux exposés lors de ce sommet.

Pour résumer le AWS Summit en quelques mots : « AWS continue sa forte croissance (44% en Q4-2018 par rapport à Q4-2017), l’industrialisation des algorithmes IA est le sujet phare de 2019, et la conteneurisation et l’approche micro-service est une réalité qui rend plus facile la génération de valeur »

José vous partage ce qu’il a retenu des présentations d’AWS et des retours clients en 4 parties :

  • Points Clés de la Keynote
  • Industrialisation des modèles d’IA : Les musts
  • Conteneurisation : création et management de Dockers
  • DevOps : l’incontournable transformation

Points clés de la Keynote :

  • AWS est maintenant certifié HDS (Hébergeur des Données de Santé), il est dorénavant possible de stocker des données dans la plateforme AWS.
  • AWS a annoncé son partenariat avec Science PO « Public Innovation Lab », afin de se servir des technologies AWS pour améliorer la vie des citoyens avec des prototypes dans les domaines de la santé, du vieillissement et de la mobilité urbaine.
  • AWS a sa propre compétition de voitures autonomes : AWS DeepRacer League
  • Pour se former sur les technologies AWS, dans le domaine du ML on peut visiter les sites : « Machine Learning University » et « Amazon ML Solutions Lab ».

Industrialisation des modèles d’IA : Les musts

Pour réussir en AI, il faut des compétences mixtes : Data Scientists, Data Engineers et Data Analysts

  • Monitorer et assurer la qualité de la donnée : La valeur ajoutée ne pourra pas être garantie si les données dont on se sert ne sont pas propres. La preuve de l’importance de ce point est que certaines entreprises ont créé des équipes dédiées pour le monitoring et le maintien de la qualité de la donnée.
  • Versionnement du code et lancement des tests : Ceci est un must, il est très important de produire des versions de tous les développements, et d’appliquer aux modèles différents tests avant leur mise en production.
  • Passer d’une approche monolithique à une approche micro-service : Il est recommandé d’utiliser des APIs et des end-points pour l’utilisation des modèles de ML. Ceci rend le développement plus fluide, favorisant ainsi la maintenabilité, l’évolutivité et la robustesse des systèmes.
  • Utiliser l’Infra-as-code : L’infrastructure en tant que code permet d’automatiser la gestion et l’approvisionnement de l’infrastructure, adieu les processus manuels et les risques d’erreurs qui viennent avec. Pour ne citer que deux exemples : il est possible de répliquer en une commande une infra située dans l’environnement de dev dans celui de production, ou bien de la détruire sans s’inquiéter des dépendances. Seul un fichier de configuration sera nécessaire pour passer d’un environnement à un autre. Pour plus d’information regarder Terraform ou AWS CloudFormation.
  • Standardiser les outils : Toutes les équipes de l’entreprise doivent utiliser les mêmes outils pour éviter les problèmes de compatibilité. Au moins une personne devra être en charge d’assurer la gouvernance, de fournir les templates et de s’assurer que les équipes suivent les bonnes pratiques de développement.
  • Monitorer les modèles de ML : Les modèles se dégradent dès qu’ils sont mis en production. Il faut donc toujours penser à surveiller le modèle, ses entrées/sorties et à faire un suivi des logs de consommation (RAM, nombre d’appels, fréquence, etc.). De cette façon on pourra détecter à temps les problèmes potentiels de performance et, tout aussi important, déterminer les causes des dégradations.
  • Le DevOps est devenu la norme et c’est une culture à adopter, nous en parlerons plus en détail dans la suite de cet article.
  • Utiliser des tags pour le suivi des coûts : Il est possible d’effectuer un suivi détaillé des coûts sur AWS via le cost-explorer. Par exemple, une entreprise a réussi à économiser 5x ses coûts en ajoutant AWS CloudFront dans son architecture. 

Conteneurisation : création et management de Dockers

  • Packaging polyglotte : On peut faire communiquer des packages entre eux, sans avoir à s’inquiéter des langages avec lesquels ils ont été créés.
  • Cycle de vie d’un Docker : DockerFile —> DockerBuild —> DockerRun pour le faire fonctionner en local sur une machine.
  • Monitoring des Dockers : Bien que la création d’une instance Docker soit simple, l’orchestration des différents dockers reste un challenge difficile à relever sans l’aide d’outils comme Kubernetes, DockerSWARM, etc.
  • Solutions AWS :
    • Pour les environnements où on peut instancier les Dockers : ECS ou Fargate
    • Pour le management des Dockers : EKS (Pour Kubernetes), ECS (Kubernetes modifié par Amazon)

DevOps : L’incontournable transformation

« DevOps améliore l’efficacité des équipes, puis aide à gérer en douceur la croissance émergente de productivité » Nicolas David, AWS

  • DevOps permet de tout automatiser, de la création du code jusqu’à la mise en production et son monitoring. Tout cela en suivant une approche CI/CD (Intégration continue, déploiement continu).
  • Les bénéfices principaux sont :
    • moins de complexité
    • une résolution plus rapide des problèmes
    • une meilleure qualité
  • Comme tout est automatisé, les équipes auront plus de temps pour l’innovation, ce qui n’était pas le cas avant à cause de la tâche « réparer et maintenir »
  • Solutions AWS pour l’industrialisation (liste non exhaustive) : AWS CodePipeline (CodeCommit, CodeBuild, CodeDeploy), AWS X-Ray et AWS CloudWatch.

Nous espérons ainsi que notre analyse vous permettra d’avoir une meilleure compréhension de l’utilisation du cloud pour la mise en production des algorithmes de Machine Learning.

Concocté avec amour par :
José Sanchez

Articles concoctés avec les mêmes ingredients

21 septembre 2021

Assureurs : maîtrisez vos risques climatiques avec CatNat Predict !

Les événements climatiques du premier semestre 2021 ont causé près de 40 milliards de dollars de dommages assurés dans le monde (1). Aussi, le dernier rapport du GIEC est sans équivoque quant à l’intensification des phénomènes climatiques extrêmes. En France, la sécheresse est le risque qui inquiète le plus les assureurs avec des coûts annuels […]

Minetou NDIAYE
3 août 2021

Le top 5 des lectures de vacances de l’équipe Axionable

Le top 5 des lectures de vacances de l’équipe Axionable : Découvrez la sélection de notre équipe, sérieuse ou divertissante, il y en a pour tous les gouts : IA et technologies, développement durable, roman SF, conte philosophique et même bande dessinée !     • L’entreprise contributive de Fabrice Bonnifet : Environnement, climat, société […]

Marie GEOFFROY-LOMBARD
20 juillet 2021

IA de confiance : enfin du concret !

Le saviez-vous ? Le LNE a dévoilé sa certification inédite dédiée à l’intelligence artificielle (IA). Construite en collaboration avec de nombreux acteurs du marché, dont Axionable, cette certification s’appuie sur un référentiel et un audit des processus d’IA depuis la conception jusqu’au maintien en conditions opérationnelles afin d’établir un périmètre d’analyse IA de confiance à long terme et fiable pour l’utilisateur […]

Vincent PHILIPPINE
13 juillet 2021

Intelligence artificielle : une nouvelle certification

Construite en collaboration avec les acteurs du marché, le LNE lance une certification inédite dédiée à l’intelligence artificielle. Cette dernière permettra d’apporter des garanties sur les performances, la sécurité et l’éthique des systèmes d’intelligence artificielle toujours plus nombreux. En avril dernier la Commission européenne a annoncé un projet de règlementation autour de l’intelligence artificielle afin […]

Laurent Wlodarczyk

Ready for sustainable AI?

Let's make an appointment to discuss our approach
career solutions and opportunities
Contactez-nous
Paris
13 rue des Arquebusiers
75003 Paris
Montréal
1275 Avenue Des Canadiens-De-Montréal, Montréal, QC, H3B 0G4
contact Contact