Контейнер работает за пределами памяти

проверка помещенная на уровне пряжи для коэффициента использования вертикальной и физической памяти. Проблема не только в том, что VM не имеет достаточной физической памяти. Но это потому, что использование виртуальной памяти больше, чем ожидалось для данной физической памяти.

Примечание: это происходит на Centos / RHEL 6 из-за его агрессивного выделения виртуальной памяти.

Она может быть решена путем :

1. отключить проверку использования виртуальной памяти установочный пряжа.nodemanager.vmem-check-enabled до ложные;

2. увеличить коэффициент VM:PM, установив пряжа.nodemanager.vmem-pmem-ratio к некоторому более высокому значению.

ссылки :

https://issues.apache.org/jira/browse/HADOOP-11364

http://blog.cloudera.com/blog/2014/04/apache-hadoop-yarn-avoiding-6-time-consuming-gotchas/

добавьте следующее свойство в yarn-site.xml

 <property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
 <property>
   <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
    <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>

у меня была очень похожая проблема с использованием HIVE в EMR. Ни одно из существующих решений не работало для меня - т. е. ни одна из конфигураций mapreduce не работала для меня; и ни одна из настроек yarn.nodemanager.vmem-check-enabled значение false.

однако то, что в конечном итоге работало, было настройкой tez.am.resource.memory.mb, например:

hive -hiveconf tez.am.resource.memory.mb=4096

еще один параметр для рассмотрения настройки является yarn.app.mapreduce.am.resource.mb

Я не могу прокомментировать принятый ответ, из-за низкой репутации. Тем не менее, я хотел бы добавить, что это поведение по дизайну. NodeManager-это убийство вашего контейнера. Похоже, вы пытаетесь использовать потоковую передачу hadoop, которая выполняется как дочерний процесс задачи map-reduce. NodeManager отслеживает все дерево процессов задачи и если он съедает больше памяти, чем максимальный набор в mapreduce.карта.память.Мб или mapreduce.уменьшить.память.МБ соответственно, мы ожидали бы Nodemanager убить задачу, в противном случае ваша задача кражи памяти, принадлежащей другим контейнерам, которые вы не хотите.

во время работы с spark в EMR у меня была такая же проблема и настройка maximizeResourceAllocation=true сделал трюк; надеюсь, что это поможет кому-то. Вы должны установить его при создании кластера. Из EMR docs:

aws emr create-cluster --release-label emr-5.4.0 --applications Name=Spark \
--instance-type m3.xlarge --instance-count 2 --service-role EMR_DefaultRole --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json

где myConfig.JSON должен сказать:

[
  {
    "Classification": "spark",
    "Properties": {
      "maximizeResourceAllocation": "true"
    }
  }
]

мы также столкнулись с этой проблемой в последнее время. Если проблема связана с памятью mapper, я хотел бы предложить несколько вещей, которые необходимо проверить.

• проверить, если combiner включен или нет? Если да, то это означает, что логика reduce должна выполняться на всех записях (вывод mapper). это происходит в памяти. на основе вашего приложения вам нужно проверить, помогает ли включение объединителя или нет. Компромисс заключается между байтами сетевой передачи и время, затраченное/память / процессор для логики уменьшения на " X " количество записей.
  • Если вы чувствуете, что комбайнер не имеет большого значения, просто отключите его.
  • Если вам нужен комбайнер, а " X " - это огромное количество (скажем, миллионы записей), то с учетом изменения логики разделения (для входных форматов по умолчанию используется меньший размер блока, обычно 1 размер блока = 1 сплит) для отображения меньшего количества записей в одном сопоставителе.
• количество записей, обрабатываемых в a один картограф. Помните, что все эти записи должны быть отсортированы в (вывод картографа отсортирован). Рассмотрите возможность установки mapreduce.task.io.sort.mb (по умолчанию 200 Мб) на более высокое значение, если это необходимо. mapred-configs.xml
• Если что-либо из вышеперечисленного не помогло, попробуйте запустить логику mapper как отдельное приложение и профилировать приложение с помощью профилировщика (например, JProfiler) и посмотреть, где используется память. Это может дать вам очень лучшее понимание.