Как отключить регистрацию информации в Spark?

вдохновленный pyspark/tests.py я сделал

def quiet_logs( sc ):
  logger = sc._jvm.org.apache.log4j
  logger.LogManager.getLogger("org"). setLevel( logger.Level.ERROR )
  logger.LogManager.getLogger("akka").setLevel( logger.Level.ERROR )

вызов этого сразу после создания SparkContext уменьшил строки stderr, зарегистрированные для моего testfrom с 2647 до 163. Однако создание самого SparkContext регистрирует 163, до

15/08/25 10:14:16 INFO SparkDeploySchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0

и мне не ясно, как настроить их программно.

отредактируйте файл conf / log4j. properties и измените следующую строку:

   log4j.rootCategory=INFO, console

до

    log4j.rootCategory=ERROR, console

другой подход будет заключаться в следующем :

Fireup spark-shell и введите следующее:

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

вы не увидите никаких журналов после этого.

>>> log4j = sc._jvm.org.apache.log4j
>>> log4j.LogManager.getRootLogger().setLevel(log4j.Level.ERROR)

вы также можете установить уровень журнала в своих сценариях с помощью sc.setLogLevel("FATAL"). Из docs:

контролировать наш уровень. Это переопределяет любые пользовательские настройки журнала. Допустимые уровни журнала включают в себя: все, отладка, ошибка, фатальная, информация, скидка, проследить, предупредить

в Spark 2.0 вы также можете настроить его динамически для вашего приложения с помощью setLogLevel:

    from pyspark.sql import SparkSession
    spark = SparkSession.builder.\
        master('local').\
        appName('foo').\
        getOrCreate()
    spark.sparkContext.setLogLevel('WARN')

на pyspark

это может быть связано с тем, как Spark вычисляет свой путь к классам. Мое предчувствие, что Хадупа log4j.properties файл появляется перед Spark на пути к классам, предотвращая ваши изменения от вступления в силу.

если вы запустите

SPARK_PRINT_LAUNCH_COMMAND=1 bin/spark-shell

затем Spark напечатает полный путь к классу, используемый для запуска оболочки; в моем случае я вижу

Spark Command: /usr/lib/jvm/java/bin/java -cp :::/root/ephemeral-hdfs/conf:/root/spark/conf:/root/spark/lib/spark-assembly-1.0.0-hadoop1.0.4.jar:/root/spark/lib/datanucleus-api-jdo-3.2.1.jar:/root/spark/lib/datanucleus-core-3.2.2.jar:/root/spark/lib/datanucleus-rdbms-3.2.1.jar -XX:MaxPermSize=128m -Djava.library.path=:/root/ephemeral-hdfs/lib/native/ -Xms512m -Xmx512m org.apache.spark.deploy.SparkSubmit spark-shell --class org.apache.spark.repl.Main

здесь /root/ephemeral-hdfs/conf находится в начале пути к классам.

Я открыл проблема [SPARK-2913] чтобы исправить это следующий релиз (я должен иметь патч в ближайшее время).

в то же время, вот несколько решений:

• добавить export SPARK_SUBMIT_CLASSPATH="$FWDIR/conf" до spark-env.sh.
• удалить (или переименовать) /root/ephemeral-hdfs/conf/log4j.properties.

я использовал это с Amazon EC2 с 1 master и 2 slaves и Spark 1.2.1.

# Step 1. Change config file on the master node
nano /root/ephemeral-hdfs/conf/log4j.properties

# Before
hadoop.root.logger=INFO,console
# After
hadoop.root.logger=WARN,console

# Step 2. Replicate this change to slaves
~/spark-ec2/copy-dir /root/ephemeral-hdfs/conf/

Искра 1.6.2:

log4j = sc._jvm.org.apache.log4j
log4j.LogManager.getRootLogger().setLevel(log4j.Level.ERROR)

Искра 2.x:

spark.sparkContext.setLogLevel('WARN')

(Искра является SparkSession)

в качестве альтернативы старые методы,

переименовать conf/log4j.properties.template до conf/log4j.properties in Spark реж.

на log4j.properties изменить log4j.rootCategory=INFO, console до log4j.rootCategory=WARN, console

доступны различные уровни журнала:

• выкл (наиболее конкретно, без регистрации)
• фатальный (наиболее конкретные, мало данных)
• ERROR-Log только в случае Ошибки
• WARN-Log только в случае предупреждений или ошибок
• информация (по умолчанию)
• DEBUG-Log details steps (и все журналы, указанные выше)
• трассировка (наименее конкретная, много данных)
• все (наименее конкретные, все данные)

то, как я это делаю:

в том месте, где я запустить spark-submit скрипт

$ cp /etc/spark/conf/log4j.properties .
$ nano log4j.properties

изменить INFO до какого уровня регистрации вы хотите, а затем запустите свой spark-submit

Я вы хотите продолжать использовать logging (Logging facility для Python) вы можете попробовать разделить конфигурации для вашего приложения и для Spark:

LoggerManager()
logger = logging.getLogger(__name__)
loggerSpark = logging.getLogger('py4j')
loggerSpark.setLevel('WARNING')

просто добавьте ниже param к вашей команде spark-submit

--conf "spark.driver.extraJavaOptions=-Dlog4jspark.root.logger=WARN,console"

это временно переопределяет системное значение только для этого задания. Проверьте точное имя свойства (log4jspark.корень.logger здесь) из файла log4j.properties.

надеюсь, это поможет, ура!