Ref: DS 05

Pré requis

  • Cette formation Deep Learning est à destination des Data Scientists, Machine Learning Engineers ou développeurs ayant une appétence et une première expérience avec le Machine Learning.

Public

  • Développeur, chef de projet, analyste BI, chef
    de produit, chargé d’études….

Objectifs

  • Connaître et comprendre les principales architectures de réseaux de neurones, ainsi que leur utilisation dans différents cas de figure.
  • Manipuler efficacement un framework pour le Deep Learning.
  • Connaître les bonnes pratiques autour de la résolution de problèmes de Deep Learning, tant sur l’optimisation des modèles que sur leur déploiement en production.

Durée

  • 2 jours

Moyens pédagogiques

  • Ce cours de 2 jours est découpé en 6 modules avec une validation des acquis à la fin de chaque module grâce à des exercices pratiques sous forme de notebooks Jupyter pour implémenter et tester les différentes architectures de réseaux de neurones. Alternance d’exposés et d’applications pratiques.
  • Les moyens pédagogiques et les méthodes d’enseignement utilisés sont principalement : aides audiovisuelles, documentation et support de cours, exercices pratiques d’application et corrigés des exercices pour les stages pratiques, études de cas ou présentation de cas réels pour les séminaires de formation.

Programme

Introduction au Deep Learning

Qu’est-ce que le Deep Learning ?

  • Différence entre Intelligence Artificielle, Machine Learning et Deep Learning
  •  Intérêt des réseaux de neurones profonds

Quelques mots sur l’optimisation mathématique

  •  Rappels sur l’optimisation au sens des moindres carrés
  •  Bases de fonctions triangulaires, relu, constantes par morceaux, sinusoïdales
  • Optimisation en termes de loss L2 et L1 et intérêt de changer de fonction de coût
  •  Intérêt de la cross-entropie et optimisation pour la classification

Introduction à TensorFlow, Keras & PyTorch

  •  Principales notions dans ces frameworks
  •  Performances, utilisation, popularité.
  •  Critères de choix d’un frameworks pour une tâche donnée.

Réseaux de neurones “Fully Connected”

Réseau fully connected à une couche

  • Principe
  •  Compréhension dans des cas simples
  •  Apprentissage d’une courbe simple
  •  Apprentissage sur des images noir et blanc
  •  Apprentissage d’une distribution de probabilité par maximisation de vraisemblance
  •  Interprétation des poids appris

Ajout de couches

  •  Compromis nombre de neurones / nombre de couches
  •  Initialisation des poids du réseau

Réseaux de neurones convolutionnels (CNN)

Convolution : Intuition

  •  Convolution : interprétations
  •  Opération exacte réalisée par un filtre convolutif dans les différents frameworks
  •  Les divers filtres convolutifs et les options (strides, layers…)
  •  Effet du pooling : qu’obtient-on entre les couches intermédiaires ?

Réseaux de neurones convolutionnels pour les images

  • Convolution & Pooling 2D
  • Transfer Learning : faire apprendre à seulement une partie du réseau.

Convolutions 1D pour le son et les séquences

  •  Convolution & Pooling 1D
  •  Intérêt et limitations

Réseaux de neurones récurrents (RNN)

Principes du RNN et différentes couches associées

  •  Pourquoi avons-nous besoin de RNN ?
  •  Réseau de neurones récurrent simple
  •  Long-Short Term Memory (LSTM) & Gated Recurrent Unit (GRU)

Traitement de la donnée textuelle

  •  Vectorisation du texte
  •  Embedding
  •  Applications
  •  Classification d’une séquence
  •  Génération de texte

Utilisations avancées des RNNs

  • Stacking de couches de RNN
  • Bi-directional RNN
  • Combinaison avec des couches convolutionnelles

Architectures avancées de réseaux de neurones

Auto-Encodeur

  • Intérêt et utilisations des auto-encodeurs
  •  Exemples d’utilisation
  •  Compression d’information
  •  Détection d’anomalies
  •  Extraction de features

Générer des données avec des Generative Adversarial Networks (GAN)

  • Principe
  •  Génération
  •  D’échantillons selon une distribution de probabilité
  •  D’images
  •  Variantes existantes aux GAN

Ouvertures et bonnes pratiques

Reinforcement Learning

  • Principe
  •  Q-Learning
  •  Deep Reinforcement Learning
  •  Application
  •  Optimisation d’une stratégie de jeu en bourse
  • Apprentissage d’un jeu vidéo

Bonnes pratiques

  • De l’expérimentation à l’industrialisation
  • Abstraire des parties du réseau de neurones
  •  Rendre chaque partie du réseau de neurones testable dans le principe
  •  Retours d’expérience sur la mise en production d’algorithmes de Deep Learning
  •  Utilisation sur machine multi GPU
  •  Utilisation sur des instances Cloud
  •  Ouverture vers d’autres frameworks pour le Deep Learning

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

fr_FR
en_GB fr_FR