Команды Пряжа для отслеживания проблем или ошибок

jagadish Prabhakar спросил: 28 апреля 2018 в 08:38 в: amazon-ec2

Может ли кто-нибудь помочь мне? Я попытался подключиться к главному узлу EMR с использованием SSH и на основе идентификатора приложения. Я хочу обработать проблемы, но у меня нет знаний о командах YARN, и где я могу получить или найти команды YARN и т. д. .


1 ответ

Yuriy Bondaruk ответил: 29 апреля 2018 в 10:55

На самом деле вам не нужно знать какие-либо команды пряжи, поскольку журналы - это обычные текстовые файлы (иногда архивированные). Большинство из них находятся в /mnt/var/log/. Например, файлы журналов шагов выполнения находятся здесь: /mnt/var/log/hadoop/steps/.

Если вы хотите найти журналы исполнителей, тогда вы должны ssh на основные узлы и искать журналы приложений в /mnt/var/log/application/.

Кроме того, EMR по умолчанию настроен на архивирование файлов журналов на Amazon S3

jagadish Prabhakar ответил: 01 мая 2018 в 05:40
Привет, Юрий Спасибо большое.