Доброе утро, друзья!
Каждый пользователь создает нагрузку на кластер, и посмотреть параметры каждого работающего Spark-приложения возможно в представлении Resource manager UI через YARN.

Сегодня я расскажу, как затратив минимум усилий при работе с большими данными, справиться с задачей создания таблиц с нужными параметрами, а также как удалить сразу большое количество потерявших актуальность таблиц

Рассмотрим, что происходит от старта до окончания работы Spark приложения

Скорость обработки больших данных средствами фреймворка Apache Spark во мно-гом обеспечивается грамотной настройкой его параметров. Об этом мы и поговорим в данной статье

Наиболее популярными инструментами для сбора и обработки больших данных являются Hadoop MapReduce и Apache Spark. Оба этих инструмента имеют свои плюсы и минусы, однако в данной статье я буду рассматривать Apache Spark, в частности библиотеку для python PySpark. Любая программа на PySpark начинается с определения конфигурации запускаемой задачи. В PySpark конфигурация задается классом SparkConf. Основными […]