Apache Spark Fundamentals
Продолжительность
26
часы
Місцезнаходження
Онлайн
Мова
Англійська
Код
EAS-017
Тренінг для 7-8 чи більше людей?
Налаштуйте тренінги
для ваших конкретних потреб
опис
Після проходження курсу видається сертифікат
на бланку Luxoft Training
на бланку Luxoft Training
Цілі
During the training participants will:
- Write a Spark pipeline via functional Python and RDDs;
- Write a Spark pipeline via Python, Spark DSL, Spark SQL and DataFrame;
- Draw architecture with different sources;
- Write a Spark pipeline with external systems (Kafka, Cassandra, Postgres) which works in parallel modes;
- Resolve problems with slow joins.
After the training, participants will be able to build a simple PySpark application and execute it on the cluster in parallel mode.
Цільова аудиторія
- Software developers
- Software architects
передумови
Basic Java, Python, Scala programming skills. Unix/Linux shell familiarity. Experience with databases is optional.
Дорожня карта
- Spark concepts and architecture
- Programming with RDDs: transformations and actions
- Using key/value pairs
- Loading and storing data
- Accumulators and broadcast variables
- Spark SQL, DataFrames, Datasets
- Spark Streaming
- Machine Learning using MLLib and Spark ML
- Graph analysis using GraphX