久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

nutch部署到eclipse常見錯誤有哪些

137次閱讀
沒有評論

共計 1884 個字符,預計需要花費 5 分鐘才能閱讀完成。

nutch 部署到 eclipse 常見錯誤有哪些,針對這個問題,這篇文章詳細介紹了相對應的分析和解答,希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

Nutch 部署到 eclipse 常見錯誤 Failed to set permissions of path: \tmp\hadoop-hadoop\mapred\staging\hadoop1847455384\.staging to 0700

之前在 eclipse 上部署 hadoop 時好像也遇到過這個問題。但是,現在已經不知道怎么解決了。

方法 1:

注釋掉

target name= create-native-configure

exec executable= autoreconf dir= ${native.src.dir} searchpath= yes failonerror= yes   arg value= -if /

/exec

  /target

去掉 compile-core-native

  target name= compile-core-native depends= create-native-configure,compile-core-classes

 if= compile.native

中的 create-native-configure 依賴

3、修改 hadoop-1.1.2/src/core/org/apache/hadoop/fs/FileUtil.java 691 行,把 throw new IOException 改為 LOG.warn

4、用 ant 編譯項目,編譯成功后從 build 文件夾中取出 hadoop-core.jar 文件夾,放入我們 eclipse 中的 hadoop 項目中,替換項目中原有 hadoop-core.jar,放入 lib 文件夾下。再通過 buildpath 添加 jar 包。

方法 2:

不用修改 build.xml,直接修改 FileUtil.java 文件中的“checkReturnValue(rv, f, permission);”,直接注釋掉,再用 ant 命令編譯一遍即可產生 hadoop-core.jar 包,同樣將 hadoop-core.jar 替換掉項目中 hadoop-core.jar。

繼解決了上一個異常 Failed to set permissions of path: 之后,運行文件又出現異常:

運行參數為:urls -dir crawl -depth 2 -topN 2

異常為:

Input path does not exist: file:/E:/qjay/wrokespace2013/trunk/-dir

這個錯是由于未正確指定參數 Program arguments 導致的。來來去去就這么幾個錯,折騰了一天。深刻體會到,有時候想問題真的不要那么狹隘,要敢于大膽假設。從沒想過是 Program arguments 的問題。。。不過找到問題了就快了。

Eclipse 查看 hadoop 源代碼

Eclipse 查看 hadoop 源代碼導入不成功。以 hadoop-1.2.1.tar.gz 為例,我們先解壓 hadoop 項目,然后在壓縮成 zip 格式的文件,導入即可成功。

total number of urls rejected by filters: 0

我遇見的這個問題并不是由于程序本身問題導致的,而是因為傳遞配置參數時沒寫正確。

在 eclipse 中運行 injector 類時,傳的參數應當為:

Main class: org.apache.nutch.crawl.Injector

VM arguments: -Dhadoop.log.dir=logs -Dhadoop.log.file=hadoop.log

Program arguments: crawldb urls

繼續運行,這次會發現已經開始報錯了。很好,報錯是好事,害怕的就是它不報錯。能報錯就好辦了,繼續解決下邊這個異常:

nutch java.lang.Exception: java.lang.RuntimeException: Error in configuring object

nutch 部署過程中出現了下面錯誤,主要是沒有正確配置插件導致的,可以通過設置 nutch-site.xml 文件的 plugin.folders 屬性解決問題

  修改 conf 下 nutch-default 文件將 plugin.folders 的值由 plugins 修改為./src/plugin

因為 plugin 文件在 src 目錄下。

關于 nutch 部署到 eclipse 常見錯誤有哪些問題的解答就分享到這里了,希望以上內容可以對大家有一定的幫助,如果你還有很多疑惑沒有解開,可以關注丸趣 TV 行業資訊頻道了解更多相關知識。

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-08-25發表,共計1884字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 重庆市| 中超| 东方市| 江安县| 北宁市| 宣威市| 汕尾市| 新泰市| 虹口区| 原平市| 景谷| 永川市| 繁昌县| 同心县| 拉萨市| 乌拉特后旗| 双鸭山市| 阳东县| 岚皋县| 衡山县| 叙永县| 光山县| 新绛县| 清新县| 潜江市| 子长县| 白山市| 东明县| 茌平县| 南木林县| 亚东县| 淮阳县| 津市市| 栾川县| 霍山县| 哈尔滨市| 门源| 恩平市| 阿拉善盟| 伊吾县| 成都市|