久久精品人人爽,华人av在线,亚洲性视频网站,欧美专区一二三

怎么利用Kettle轉儲接口數據

156次閱讀
沒有評論

共計 1962 個字符,預計需要花費 5 分鐘才能閱讀完成。

這篇文章主要介紹“怎么利用 Kettle 轉儲接口數據”,在日常操作中,相信很多人在怎么利用 Kettle 轉儲接口數據問題上存在疑惑,丸趣 TV 小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”怎么利用 Kettle 轉儲接口數據”的疑惑有所幫助!接下來,請跟著丸趣 TV 小編一起來學習吧!

利用 Kettle 轉儲接口數據 1.  項目背景 1.1.  項目背景數據接口

API:應用程序接口(Application Program Interface)的簡稱,是實現計算機軟件之間數據通信的工具。同時 API 也是一種中間件,為各個平臺提供數據共享。在大數據與物聯網發展的背景下,目前有大量的數據接口被提供或發掘出來,提供給開發者使用,應用到生活中的每一個細節中。本文旨在闡述 kettle 對于數據接口的監控、調用及其轉儲,更多詳細的數據接口內容不在此具體說明。

項目背景

本文旨在提供一種方法,以幫助同學們掌握 Kettle 對于數據接口的調用與轉儲,Kettle 的配置方法和組件的使用具有多樣性,需要大家多多思考與發掘。

2.  Kettle 配置

本文使用的是 Kettle 7.0 版本,調用的接口為百度開發平臺 - 百度地圖 API,返回數據集為 JSON 格式或者 XML 格式,本次使用了兩種方式來存儲數據,一種是導出成 EXCEL,一種是導出到關系數據庫進行存儲。

2.1. Kettle 轉換的配置總覽

總覽

 

校驗接口信息

我們首先拿到 WebAPI 的地址,測試連接的暢通,這里我使用了百度地圖的 Place Suggestion API,輸入城市需要檢索的地點,返回建議值,效果如下:

 

http://api.map.baidu.com/place/v2/suggestion?query=%E6%98%A5%E7%86%99%E8%B7%AF region=%E6%88%90%E9%83%BD%E5%B8%82 output=json ak=n0lHarpY3QZx6xXXIaWMFLxj

這里我們測試接口 URL 的連通性。

 

這里我的接口是沒有校驗身份的,只需要輸入申請的 AK 就可以了。測試成功,返回的值為 JSON 字符串的格式。

接口信息接入

新建一個轉換,接口信息接入可以選擇 EXCEL 接入,文本接入,生成記錄,或者表輸入都行,視自己的情況而定,我這里因為只是測試,選用了生成記錄,并且參數值固定死,后期可以使用“${}”將參數替換出來。

 

利用 HTTP 客戶端解析數據

添加 HttpClient 組件,我們需要用到它作為客戶端來解析 API,類似瀏覽器。

 

這里的 URL 地址我們選擇從前面的生成記錄里面獲取。注意字符集的設置,否則后面獲取到的接口數據會是亂碼。

判斷是否獲取到數據

這里添加過濾記錄組件,用來判斷是否成功從 HTTP 客戶端獲取到數據

 

解析 JSON 串

添加 JSON 輸入組件,這里從流中獲取到從 API 上獲取的結果作為源字段。

 

將 JSON 串解析成多個字段的形式,具體路徑需要自己先在過一下 JSON 串的格式,提前掌握這些信息。

 

嵌套循環解析 JSON 串

我們此次使用的 JSON 串,實際需要的數據實際是在其內曾的 RESULT 字段里面嵌套的 JSON 串里,所以我們需要再對 RESULT 字段進行解析。

 

輸出數據

我們這里使用了 EXCEL 輸出的方法,EXCEL 輸出沒有特別需要強調的地方,主要需要注意的就是在這里我們只輸出需要的內部的地址信息,因為其他字段在流中也會繼承下來,這里合理選擇輸出的字段即可。

 怎么利用 Kettle 轉儲接口數據

怎么利用 Kettle 轉儲接口數據

錯誤處理

錯誤處理一般來說都只是進行記錄,或者寫入日志,或者寫入日志表,或者發送報錯信息郵件到管理員郵箱。

這里不做具體講解,具體的選擇方案看項目需求而定。

運行結果

F9 可執行改轉換,轉換沒有錯誤的話則進入上面一條線,并且輸出為 EXCEL 表格。

 怎么利用 Kettle 轉儲接口數據

EXCEL 展開如下圖:

 怎么利用 Kettle 轉儲接口數據

3.  其他

本附件列出了一些配置過程中可能與遇到的一些問題以及解決方案。

3.1.  常見錯誤信息

在實驗過程中遇到一些錯誤在所難免,我這里提供了一些容易遇到的錯誤,給大家參考參考思路。

中文亂碼

解決方案:在使用 HTTP 客戶端接入的時候,需要正確選擇字符集,一般使用 UTF- 8 是沒錯的,它能夠兼容大部分字符。在進行文本文件輸出的時候,需要正確選擇輸出的格式,盡量不在這一步做編碼轉換。

API 接口無效

解決方案:在解析 API 接口 URL 路徑時,難免參數會帶上中文漢字,這里的漢字需要提前做好轉碼,這里教大家一個小技巧,使用 Chome 瀏覽器,把 URL 鏈接粘貼進去,瀏覽器會自動幫我們把編碼進行轉換。此時,再把 URL 地址粘貼出來即可。

到此,關于“怎么利用 Kettle 轉儲接口數據”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注丸趣 TV 網站,丸趣 TV 小編會繼續努力為大家帶來更多實用的文章!

正文完
 
丸趣
版權聲明:本站原創文章,由 丸趣 2023-07-28發表,共計1962字。
轉載說明:除特殊說明外本站除技術相關以外文章皆由網絡搜集發布,轉載請注明出處。
評論(沒有評論)
主站蜘蛛池模板: 顺昌县| 桃源县| 余姚市| 望奎县| 沂源县| 灵宝市| 新田县| 大关县| 陆川县| 湖州市| 苍溪县| 樟树市| 山阴县| 兴业县| 焉耆| 西青区| 门头沟区| 东安县| 揭东县| 松阳县| 桃江县| 绵阳市| 仁寿县| 石柱| 西城区| 栾城县| 宜良县| 紫阳县| 剑阁县| 遂平县| 南汇区| 讷河市| 邯郸县| 盐池县| 禹城市| 阿拉善右旗| 宁海县| 普兰县| 余姚市| 阜康市| 石台县|