Как исполнять свечи применение в области лесозаготовок
Как я могу использовать ведение журнала в приложении spark?
Проблема в том, что код sparks будет выполняться не так, как написано, а асинхронно и оптимизировано, например, возможно, в другом порядке.
Как было указано мне здесь стильное преобразование набора данных spark следующее не должно работать / не обязательно работать так, как ожидалось в оптимизированном плане запросов spark:
logger.info("first")
val first = df.someTransformation
logger.info("second")
val second = df.otherTransformation
1 ответ:
Лог-операторы в вашем примере не очень значимы.
Я вижу 3 способа ведения журнала:
A) Если вы просто хотите протоколировать " ход " преобразования, как показано в вашем примере, вы должны применить действие (например, вызов
count()
) после преобразования, но это вызывает ненужные вычисленияB) montior spark с помощью spark UI и посмотрите в настройки, такие как
spark.eventLog.enabled
, чтобы сохранить выводC) внутри функции/UDAFs, можно использовать аккумуляторы, чтобы собрать журналы исполнителей и сделать их доступными для водителя.