François Chung, Ph.D.

Formation Cognitive Class, MOOC (2020). Ce parcours d'apprentissage aborde les principes fondamentaux de Apache Spark, un moteur open source pour le traitement de données à grande échelle qui révolutionne le monde de l'analyse et du big data. Cette formation est l'occasion d'apprendre des leaders du secteur qui utilisent Spark, technologie reposant sur la vitesse, la facilité d'utilisation et l'analyse, et offre des opportunités et des projets pratiques pour renforcer la confiance avec l'ensemble des outils Spark.

Cours 1: Fondamentaux de Spark I

Sujets principaux:

• Introduction à Spark;
• Resilient Distributed Dataset (RDD) et DataFrames;
• Programmation d'applications Spark;
• Introduction aux bibliothèques Spark;
• Configuration, surveillance et réglage de Spark.

Cours 2: Fondamentaux de Spark II

Sujets principaux:

• Introduction aux notebooks;
• Architecture RDD;
• Optimisation de transformations et actions;
• Mise en cache et sérialisation;
• Développement et testing.

Cours 3: Spark MLlib

Sujets principaux:

• Types de données Spark MLlib;
• Revue des algorithmes;
• Arbres de décision et forêts aléatoires;
• Clustering Spark MLlib.

Cours 4: Exploration de GraphX

Sujets principaux:

• Introduction à Graph-Parallel;
• Exploration des opérateurs graphiques;
• Visualisation et modification de GraphX;
• Agrégation et mise en cache.

Cours 5: Big data dans R avec Spark

Sujets principaux:

• Introduction à SparkR;
• Manipulation de données avec SparkR;
• Apprentissage automatique avec SparkR.

Références