Hadoop C ++ HDFS тест работает исключение

Я работаю с Hadoop 2.2.0 и пытаюсь запустить это hdfs_test.cpp приложение:

#include "hdfs.h"
int main(int argc, char **argv) {

hdfsFS fs = hdfsConnect("default", 0);
const char* writePath = "/tmp/testfile.txt";
hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0);
if(!writeFile) {
fprintf(stderr, "Failed to open %s for writing!\n", writePath);
exit(-1);
}
char* buffer = "Hello, World!";
tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);
if (hdfsFlush(fs, writeFile)) {
fprintf(stderr, "Failed to 'flush' %s\n", writePath);
exit(-1);
}
hdfsCloseFile(fs, writeFile);
}

Я скомпилировал его, но когда я запускаю его с ./ hdfs_test У меня есть это:

loadFileSystems error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsBuilderConnect(forceNewInstance=0, nn=default, port=0, kerbTicketCachePath=(NULL), userName=(NULL)) error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
hdfsOpenFile(/tmp/testfile.txt): constructNewObjectOfPath error:
(unable to get stack trace for java.lang.NoClassDefFoundError exception: ExceptionUtils::getStackTrace error.)
Failed to open /tmp/testfile.txt for writing!

Может быть, это проблема с classpath.
Мой $ HADOOP_HOME — / usr / local / hadoop, и это на самом деле мой переменная *CLASSPATH*:

echo $CLASSPATH
/usr/local/hadoop/etc/hadoop:/usr/local/hadoop/share/hadoop/common/lib/*:/usr/local/hadoop/share/hadoop/common/*:/usr/local/hadoop/share/hadoop/hdfs:/usr/local/hadoop/share/hadoop/hdfs/lib/*:/usr/local/hadoop/share/hadoop/hdfs/*:/usr/local/hadoop/share/hadoop/yarn/lib/*:/usr/local/hadoop/share/hadoop/yarn/*:/usr/local/hadoop/share/hadoop/mapreduce/lib/*:/usr/local/hadoop/share/hadoop/mapreduce/*:/contrib/capacity-scheduler/*.jar

Любая помощь приветствуется .. спасибо

4

Решение

Попробуй это:

hadoop classpath --glob

Затем добавьте результат к CLASSPATH переменная в ~/.bashrc

5

Другие решения

У меня возникли проблемы с использованием подстановочных знаков в classpath при использовании программ на основе JNI. Попробуйте прямая банка-в-классов подход, такой как сгенерированный в этом примере моего кода в https://github.com/QwertyManiac/cdh4-libhdfs-example/blob/master/exec.sh#L3, и я верю, что это должно сработать. Весь приведенный пример на https://github.com/QwertyManiac/cdh4-libhdfs-example работает в настоящее время.

Смотрите также https://stackoverflow.com/a/9322747/1660002

3

По вопросам рекламы [email protected]