Как исполнять свечи применение в области лесозаготовок


Как я могу использовать ведение журнала в приложении spark?

Проблема в том, что код sparks будет выполняться не так, как написано, а асинхронно и оптимизировано, например, возможно, в другом порядке.

Как было указано мне здесь стильное преобразование набора данных spark следующее не должно работать / не обязательно работать так, как ожидалось в оптимизированном плане запросов spark:

logger.info("first")
val first = df.someTransformation
logger.info("second")
val second = df.otherTransformation
1 2

1 ответ:

Лог-операторы в вашем примере не очень значимы.

Я вижу 3 способа ведения журнала:

A) Если вы просто хотите протоколировать " ход " преобразования, как показано в вашем примере, вы должны применить действие (например, вызов count()) после преобразования, но это вызывает ненужные вычисления

B) montior spark с помощью spark UI и посмотрите в настройки, такие как spark.eventLog.enabled, чтобы сохранить вывод

C) внутри функции/UDAFs, можно использовать аккумуляторы, чтобы собрать журналы исполнителей и сделать их доступными для водителя.