共計 1392 個字符，預(yù)計需要花費 4 分鐘才能閱讀完成。

這篇文章主要介紹了 ELK 之 Logstash 如何安裝與導(dǎo)入數(shù)據(jù)，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓丸趣 TV 小編帶著大家一起了解一下。

  數(shù)據(jù)集下載

下載地址：https://grouplens.org/datasets/movielens/

  我們選擇最小數(shù)據(jù)集即可  Logstash 下載與安裝

首先去官網(wǎng)下載 Logstash 安裝包：https://www.elastic.co/downloads/logstash

 logstash download

如果下載速度太慢可以選用這個代理地址下載：http://mirror.azk8s.cn/elastic/logstash/

 azk8s

下載完安裝包并解壓進入 config 目錄：

 logstash-config

同時配置如下內(nèi)容, 你只需要按照你的數(shù)據(jù)集的路徑改一下配置文件中最開始的 path 即可：

logstash.conf

input {
  file {
    path = /Users/tanjian/Desktop/logstash-7.6.1/movielens/ml-latest-small/movies.csv # 這里指定數(shù)據(jù)集路徑 
    start_position = beginning 
    sincedb_path = /dev/null 
  }
}
filter {
  csv {
    separator = , 
    columns = [id , content , genre]
  }

  mutate {
    split = {genre = |}
    remove_field = [path , host , @timestamp , message]
  }

  mutate {

    split = [content , (]
    add_field = {title = %{[content][0]} }
    add_field = {year = %{[content][1]} }
  }

  mutate {
    convert = {
       year = integer 
    }
    strip = [title]
    remove_field = [path , host , @timestamp , message , content]
  }

}
output {
   elasticsearch {
     hosts = http://localhost:9200 
     index = movies 
     document_id = %{id} 
   }
  stdout {}
}

 
 Logstash 運行

配置好上面的 logstash.conf 文件后，我們就可以啟動 Logstash 并開始導(dǎo)入數(shù)據(jù)了：

sudo ./bin/logstash -f config/logstash.conf

如下圖 Logstash 日志所示，正在導(dǎo)入數(shù)據(jù)集：

 logstash log  打開 Kibana 查看數(shù)據(jù)

在查看數(shù)據(jù)之前，我們需要打開 http://localhost:5601 通過 Kibana 創(chuàng)建一個 Index Pattern：

 Index Pattern

之后，我們就可以通過 Discover 去查看我們的數(shù)據(jù)了：

 Discover

剩下的就交給你自己折騰吧，你可以去 Dev Tools 通過 QSL 語法搜索數(shù)據(jù)熟悉一下語法。

感謝你能夠認真閱讀完這篇文章，希望丸趣 TV 小編分享的“ELK 之 Logstash 如何安裝與導(dǎo)入數(shù)據(jù)”這篇文章對大家有幫助，同時也希望大家多多支持丸趣 TV，關(guān)注丸趣 TV 行業(yè)資訊頻道，更多相關(guān)知識等著你來學(xué)習(xí)!