ACL не поддерживаются, по крайней мере, в одной файловой системе: Distcp HDFS

satish sidnakoppa спросил: 31 июля 2018 в 09:43 в: hadoop
 As per distcp documentation -> 
If -pa is specified, DistCp preserves the permissions also because 
ACLs are a super-set of permissions.

but hadoop distcp -pa -delete -update /src/path /dest/path/
is failing with ACLs not supported on at least one file system.
Complete logs below

Выполненная выше команда не работает. Вы должны скопировать файл hdfs из источника в пункт назначения с помощью ACL.

org.apache.hadoop. tools.CopyListing $ AclsNotSupportedException: ACL не поддерживаются для файловой системы: hdfs://10.20.0.7: 8020at org.apache.hadoop.tools.util.DistCpUtils.checkFileSystemAclSupport (DistCpUtils.java:381) в org.apache.hadoop.tools .DistCp.configureOutputFormat (DistCp.java:353) в org.apache.hadoop.tools.DistCp.createJob (DistCp.java:247) в org.apache.hadoop.tools.DistCp.createAndSubmitJob (DistCp.java:176) в org.apache.hadoop.tools.DistCp.execute (DistCp.java:155) в org.apache.hadoop.tools.DistCp.run (DistCp.java:128) в org.apache.hadoop.util.ToolRunner.run ( ToolRunner.java:76)at org.apache.hadoop.tools.DistCp.main (DistCp.java:462)

1 ответ

Abhinav ответил: 31 июля 2018 в 10:38
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true hdfs://<insecure_hdp>/test01.txt hdfs://<secure_hdp>/user/hdfs

Обязательно запустите эту команду из защищенного кластера, если она у вас есть.

ИЛИ

Установите следующее значение в core-site.xml и попробуйте снова:

<property> 
  <name>ipc.client.fallback-to-simple-auth-allowed</name>
  <value>true</value>  
</property>