Hadoop Pipes編程中C++如何實(shí)現(xiàn)WordCount

169次閱讀

共計(jì) 3792 個字符，預(yù)計(jì)需要花費(fèi) 10 分鐘才能閱讀完成。

本篇文章給大家分享的是有關(guān) Hadoop Pipes 編程中 C ++ 如何實(shí)現(xiàn) WordCount，丸趣 TV 小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著丸趣 TV 小編一起來看看吧。

Hadoop 雖然用 java 實(shí)現(xiàn)，但是同樣可以支持其他語言的 Map 和 Reduce。由于需要學(xué)習(xí) C ++ 方面的 Hadoop 實(shí)現(xiàn)，所以最近一直在研究 Hadoop Streaming 編程，其中 Hadoop pipes 允許 C ++ 程序員編寫 mapreduce 程序，它允許用戶混用 C ++ 和 Java 的 RecordReader，Mapper，Partitioner，Rducer 和 RecordWriter 等五個組件，下面是我的搭建以及遇到的問題。

一般這種搭建的流程都是從官網(wǎng)看比較好，參考 http://wiki.apache.org/hadoop/C++WordCount，里面的流程簡單易懂。進(jìn)入 hadoop 的安裝目錄，執(zhí)行：

ant -Dcompile.c++=yes examples

根據(jù)錯誤提示，安裝 ant：

 sudo apt-get install ant

下面是源源不斷的錯誤以及源源不斷的解決辦法。。。

Error1：/build.xml:634: Execute failed: java.io.IOException: Cannot run program autoreconf (in directory /home/hadoop/hadoop-1.2.1/src/native): error=2, No such file or directory

Solution1：根據(jù)報(bào)錯是由于沒有安裝 automake 工具，所以執(zhí)行：

 sudo apt-get install automake

Error2：build.xml:634: exec returned: 1

Solution2：http://stackoverflow.com/questions/23112074/building-hadoop-1-2-1-core-jar-using-ant-failed，執(zhí)行：

sudo apt-get install libtool

Error3：build.xml:2164: exec returned: 255

Solution3：forum.hadoop.tw/viewtopic.php?f=7 t=37970，參考里面的實(shí)現(xiàn)步驟。

1）安裝 g ++

sudo apt-get install g++

2）編譯 wordcount.cpp

g++ -I/home/hadoop/hadoop-1.2.1/c++/Linux-i386-32/include -c wordcount.cpp

3）生成可執(zhí)行文件

g++ wordcount.o -o wordcount -L/home/hadoop/hadoop-1.2.1/c++/Linux-i386-32/lib -lnsl -lpthread -lhadooppipes –lhadooputils

Error4：In function `HadoopPipes::BinaryProtocol::createDigest(std::string , std::string) :

Solution4：http://blog.sina.com.cn/s/blog_605f5b4f010195w6.html，

Step1:

sudo apt-get install libssl-dev

Step2:

g++ wordcount.o -o wordcount -L/home/hadoop/hadoop-1.2.1/c++/Linux-i386-32/lib -lnsl -lpthread -lhadooppipes -lhadooputils –lcrypto

經(jīng)歷了上面的重重問題，現(xiàn)在終于生成了可執(zhí)行程序 WordCount 了，然后需要上傳到 HDFS，利用可執(zhí)行文件執(zhí)行。下面是命令：

/pre 
hadoop fs -mkdir wordcount/bin
hadoop fs -mkdir wordcount/input
hadoop fs -put wordcount.cpp /user/hadoop/wordcount/input/
hadoop fs -put wordcount /user/hadoop/wordcount/bin/
hadoop pipes -D hadoop.pipes.java.recordreader=true -D hadoop.pipes.java.recordwriter=true -program /user/hadoop/wordcount/bin/wordcount -input /user/hadoop/wordcount/input/ -output /user/hadoop/wordcount/output

其中我以 wordcount.cpp 為輸入文件，將可執(zhí)行文件上傳到 bin 目錄，輸出目錄是 output。

執(zhí)行的過程中又遇到問題：

Error5：java.io.IOException

at org.apache.hadoop.mapred.pipes.OutputHandler.waitForAuthentication(OutputHandler.java:188)

Solution5：http://blog.csdn.net/sigxxl/article/details/12293435，終于找到同仁了。。。主要的解決方法就是重新編譯生成 libhadooppipes.a 和 libhadooputils.a 這兩個靜態(tài)庫，然后覆蓋原先的靜態(tài)庫。

1）進(jìn)入 hadoop/src/c++/pipes 目錄，執(zhí)行./ configure。

Error6：./configure: line 413: test: please: integer expression expected

./configure: line 416: $4: Bad file descriptor

configure: error: check

./configure: line 302: return: please: numeric argument required

./configure: line 312: exit: please: numeric argument required

Solution6：找到 configure 文件的這一行，一般報(bào)錯會指定這一行的，將 as_fn_exit 注釋掉，如下：

/pre 
solution:as_fn_error ()
as_status=$1; test $as_status -eq 0   as_status=1
if test  $4  then
as_lineno=${as_lineno- $3} as_lineno_stack=as_lineno_stack=$as_lineno_stack
$as_echo  $as_me:${as_lineno-$LINENO}: error: $2   $4
$as_echo  $as_me: error: $2   2
#as_fn_exit
$as_status
} # as_fn_error

2） ./configure

make install（遇到同樣的報(bào)錯再次修改 configure 文件如上）

3）進(jìn)入 hadoop/src/c++/utils，執(zhí)行同樣的步驟

./configure

make install

生成好新的 libhadooppipes.a 和 libhadooputils.a 這兩個靜態(tài)庫和相關(guān)的頭文件之后，將這些文件覆蓋到~/hadoop/c++/Linux-i386-32/ 文件夾中的 include 目錄和 lib 目錄中去。重啟 hadoop，然后重新運(yùn)行 C ++ 程序。

補(bǔ)充：之后我再次編譯的時候，某次又拋出了 error：g++：error：-lcrypto：No such file or directory

這可急壞我了，多次查證，, 原因是沒有找到 libcrypto.so

解決辦法：http://blog.csdn.net/yasi_xi/article/details/8658191

以我自身為例，進(jìn)入到 /lib/i386-linux-gnu 目錄，ll libcrypto*，查看一下當(dāng)前鏈接情況，結(jié)果是沒有 libcrypto.so，沒有指向 libcrypto.so.1.0.0，也就是說，無法在 ld 中找到，所以添加軟連接：

ln -s /lib/i386-linux-gnu/libssl.so.1.0.0 /lib/libssl.so.1.0.0/libssl.so

ln -s /usr/i386-linux-gnu/libcrypto.so.1.0.0 /lib/libssl.so.1.0.0/libcrypto.so

當(dāng)然，這些 libssl.so.1.0.0 文件你得自己去找，找不到就去下一個，理論上安裝了 openssl 就應(yīng)該有的，ok，補(bǔ)充一下，終于不報(bào)錯了

再次運(yùn)行，OK。

以上就是 Hadoop Pipes 編程中 C ++ 如何實(shí)現(xiàn) WordCount，丸趣 TV 小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注丸趣 TV 行業(yè)資訊頻道。

正文完