共計(jì) 8604 個(gè)字符，預(yù)計(jì)需要花費(fèi) 22 分鐘才能閱讀完成。
這篇文章主要介紹“l(fā)inux 數(shù)據(jù)分析工具怎么用”，在日常操作中，相信很多人在 linux 數(shù)據(jù)分析工具怎么用問(wèn)題上存在疑惑，丸趣 TV 小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”linux 數(shù)據(jù)分析工具怎么用”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著丸趣 TV 小編一起來(lái)學(xué)習(xí)吧！
linux 數(shù)據(jù)分析工具有：1、Hadoop，是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架；2、Storm，可以非常可靠的處理龐大的數(shù)據(jù)流，用于處理 Hadoop 的批量數(shù)據(jù)；3、RapidMiner，用于數(shù)據(jù)挖掘并進(jìn)行可視化建模；4、wc 等等。
本教程操作環(huán)境：linux5.9.8 系統(tǒng)、Dell G3 電腦。
6 個(gè) linux 大數(shù)據(jù)處理分析工具
1、Hadoop
Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進(jìn)行處理的。
Hadoop 是可靠的，因?yàn)樗僭O(shè)計(jì)算元素和存儲(chǔ)會(huì)失敗，因此它維護(hù)多個(gè)工作數(shù)據(jù)副本，確保能夠針對(duì)失敗的節(jié)點(diǎn)重新分布處理。
Hadoop 是高效的，因?yàn)樗圆⑿械姆绞焦ぷ鳎ㄟ^(guò)并行處理加快處理速度。
Hadoop 還是可伸縮的，能夠處理 PB 級(jí)數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)器，因此它的成本比較低，任何人都可以使用。
Hadoop 是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái)。用戶可以輕松地在 Hadoop 上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。它主要有以下幾個(gè)優(yōu)點(diǎn)：
高可靠性。Hadoop 按位存儲(chǔ)和處理數(shù)據(jù)的能力值得人們信賴。
高擴(kuò)展性。Hadoop 是在可用的計(jì)算機(jī)集簇間分配數(shù)據(jù)并完成計(jì)算任務(wù)的，這些集簇可以方便地?cái)U(kuò)展到數(shù)以千計(jì)的節(jié)點(diǎn)中。
高效性。Hadoop 能夠在節(jié)點(diǎn)之間動(dòng)態(tài)地移動(dòng)數(shù)據(jù)，并保證各個(gè)節(jié)點(diǎn)的動(dòng)態(tài)平衡，因此處理速度非常快。
高容錯(cuò)性。Hadoop 能夠自動(dòng)保存數(shù)據(jù)的多個(gè)副本，并且能夠自動(dòng)將失敗的任務(wù)重新分配。
Hadoop 帶有用 Java 語(yǔ)言編寫的框架，因此運(yùn)行在 Linux 生產(chǎn)平臺(tái)上是非常理想的。Hadoop 上的應(yīng)用程序也可以使用其他語(yǔ)言編寫，比如 C++。
2、HPCC
HPCC，High Performance Computing and Communications(高性能計(jì)算與通信)的縮寫。1993 年，由美國(guó)科學(xué)、工程、技術(shù)聯(lián)邦協(xié)調(diào)理事會(huì)向國(guó)會(huì)提交了“重大挑戰(zhàn)項(xiàng)目：高性能計(jì)算與 通信”的報(bào)告，也就是被稱為 HPCC 計(jì)劃的報(bào)告，即美國(guó)總統(tǒng)科學(xué)戰(zhàn)略項(xiàng)目，其目的是通過(guò)加強(qiáng)研究與開(kāi)發(fā)解決一批重要的科學(xué)與技術(shù)挑戰(zhàn)問(wèn)題。HPCC 是美國(guó) 實(shí)施信息高速公路而上實(shí)施的計(jì)劃，該計(jì)劃的實(shí)施將耗資百億美元，其主要目標(biāo)要達(dá)到：開(kāi)發(fā)可擴(kuò)展的計(jì)算系統(tǒng)及相關(guān)軟件，以支持太位級(jí)網(wǎng)絡(luò)傳輸性能，開(kāi)發(fā)千兆 比特網(wǎng)絡(luò)技術(shù)，擴(kuò)展研究和教育機(jī)構(gòu)及網(wǎng)絡(luò)連接能力。
該項(xiàng)目主要由五部分組成：
高性能計(jì)算機(jī)系統(tǒng)(HPCS)，內(nèi)容包括今后幾代計(jì)算機(jī)系統(tǒng)的研究、系統(tǒng)設(shè)計(jì)工具、先進(jìn)的典型系統(tǒng)及原有系統(tǒng)的評(píng)價(jià)等;
先進(jìn)軟件技術(shù)與算法(ASTA)，內(nèi)容有巨大挑戰(zhàn)問(wèn)題的軟件支撐、新算法設(shè)計(jì)、軟件分支與工具、計(jì)算計(jì)算及高性能計(jì)算研究中心等;
國(guó)家科研與教育網(wǎng)格(NREN)，內(nèi)容有中接站及 10 億位級(jí)傳輸?shù)难芯颗c開(kāi)發(fā);
基本研究與人類資源(BRHR)，內(nèi)容有基礎(chǔ)研究、培訓(xùn)、教育及課程教材，被設(shè)計(jì)通過(guò)獎(jiǎng)勵(lì)調(diào)查者 - 開(kāi)始的，長(zhǎng)期 的調(diào)查在可升級(jí)的高性能計(jì)算中來(lái)增加創(chuàng)新意識(shí)流，通過(guò)提高教育和高性能的計(jì)算訓(xùn)練和通信來(lái)加大熟練的和訓(xùn)練有素的人員的聯(lián)營(yíng)，和來(lái)提供必需的基礎(chǔ)架構(gòu)來(lái)支 持這些調(diào)查和研究活動(dòng);
信息基礎(chǔ)結(jié)構(gòu)技術(shù)和應(yīng)用(IITA)，目的在于保證美國(guó)在先進(jìn)信息技術(shù)開(kāi)發(fā)方面的領(lǐng)先地位。
3、Storm
Storm 是自由的開(kāi)源軟件，一個(gè)分布式的、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)。Storm 可以非常可靠的處理龐大的數(shù)據(jù)流，用于處理 Hadoop 的批量數(shù)據(jù)。Storm 很簡(jiǎn)單，支持許多種編程語(yǔ)言，使用起來(lái)非常有趣。Storm 由 Twitter 開(kāi)源而來(lái)，其它知名的應(yīng)用企業(yè)包括 Groupon、淘寶、支付寶、阿里巴巴、樂(lè)元素、Admaster 等等。
Storm 有許多應(yīng)用領(lǐng)域：實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、不停頓的計(jì)算、分布式 RPC(遠(yuǎn)過(guò)程調(diào)用協(xié)議，一種通過(guò)網(wǎng)絡(luò)從遠(yuǎn)程計(jì)算機(jī)程序上請(qǐng)求服務(wù))、ETL(Extraction-Transformation-Loading 的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換和加載)等等。Storm 的處理速度驚人：經(jīng)測(cè) 試，每個(gè)節(jié)點(diǎn)每秒鐘可以處理 100 萬(wàn)個(gè)數(shù)據(jù)元組。Storm 是可擴(kuò)展、容錯(cuò)，很容易設(shè)置和操作。
4、Apache Drill
為了幫助企業(yè)用戶尋找更為有效、加快 Hadoop 數(shù)據(jù)查詢的方法，Apache 軟件基金會(huì)近日發(fā)起了一項(xiàng)名為“Drill”的開(kāi)源項(xiàng)目。Apache Drill 實(shí)現(xiàn)了 Google’s Dremel.
據(jù) Hadoop 廠商 MapR Technologies 公司產(chǎn)品經(jīng)理 Tomer Shiran 介紹，“Drill”已經(jīng)作為 Apache 孵化器項(xiàng)目來(lái)運(yùn)作，將面向全球軟件工程師持續(xù)推廣。
該項(xiàng)目將會(huì)創(chuàng)建出開(kāi)源版本的谷歌 Dremel Hadoop 工具(谷歌使用該工具來(lái)為 Hadoop 數(shù)據(jù)分析工具的互聯(lián)網(wǎng)應(yīng)用提速)。而“Drill”將有助于 Hadoop 用戶實(shí)現(xiàn)更快查詢海量數(shù)據(jù)集的目的。
“Drill”項(xiàng)目其實(shí)也是從谷歌的 Dremel 項(xiàng)目中獲得靈感：該項(xiàng)目幫助谷歌實(shí)現(xiàn)海量數(shù)據(jù)集的分析處理，包括分析抓取 Web 文檔、跟蹤安裝在 Android Market 上的應(yīng)用程序數(shù)據(jù)、分析垃圾郵件、分析谷歌分布式構(gòu)建系統(tǒng)上的測(cè)試結(jié)果等等。
通過(guò)開(kāi)發(fā)“Drill”Apache 開(kāi)源項(xiàng)目，組織機(jī)構(gòu)將有望建立 Drill 所屬的 API 接口和靈活強(qiáng)大的體系架構(gòu)，從而幫助支持廣泛的數(shù)據(jù)源、數(shù)據(jù)格式和查詢語(yǔ)言。
5、RapidMiner
RapidMiner 是世界領(lǐng)先的數(shù)據(jù)挖掘解決方案，在一個(gè)非常大的程度上有著先進(jìn)技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡(jiǎn)化數(shù)據(jù)挖掘過(guò)程的設(shè)計(jì)和評(píng)價(jià)。
功能和特點(diǎn)
免費(fèi)提供數(shù)據(jù)挖掘技術(shù)和庫(kù)
100% 用 Java 代碼(可運(yùn)行在操作系統(tǒng))
數(shù)據(jù)挖掘過(guò)程簡(jiǎn)單，強(qiáng)大和直觀
內(nèi)部 XML 保證了標(biāo)準(zhǔn)化的格式來(lái)表示交換數(shù)據(jù)挖掘過(guò)程
可以用簡(jiǎn)單腳本語(yǔ)言自動(dòng)進(jìn)行大規(guī)模進(jìn)程
多層次的數(shù)據(jù)視圖，確保有效和透明的數(shù)據(jù)
圖形用戶界面的互動(dòng)原型
命令行 (批處理模式) 自動(dòng)大規(guī)模應(yīng)用
Java API(應(yīng)用編程接口)
簡(jiǎn)單的插件和推廣機(jī)制
強(qiáng)大的可視化引擎，許多尖端的高維數(shù)據(jù)的可視化建模
400 多個(gè)數(shù)據(jù)挖掘運(yùn)營(yíng)商支持
耶魯大學(xué)已成功地應(yīng)用在許多不同的應(yīng)用領(lǐng)域，包括文本挖掘，多媒體挖掘，功能設(shè)計(jì)，數(shù)據(jù)流挖掘，集成開(kāi)發(fā)的方法和分布式數(shù)據(jù)挖掘。
6、Pentaho BI
Pentaho BI 平臺(tái)不同于傳統(tǒng)的 BI 產(chǎn)品，它是一個(gè)以流程為中心的，面向解決方案 (Solution) 的框架。其目的在于將一系列企業(yè)級(jí) BI 產(chǎn)品、開(kāi)源軟件、API 等等組件集成起來(lái)，方便商務(wù)智能應(yīng)用的開(kāi)發(fā)。它的出現(xiàn)，使得一系列的面向商務(wù)智能的獨(dú)立產(chǎn)品如 Jfree、Quartz 等等，能夠集成在一起，構(gòu)成一項(xiàng)項(xiàng)復(fù)雜的、完整的商務(wù)智能解決方案。
Pentaho BI 平臺(tái)，Pentaho Open BI 套件的核心架構(gòu)和基礎(chǔ)，是以流程為中心的，因?yàn)槠渲袠锌刂破魇且粋€(gè)工作流引擎。工作流引擎使用流程定義來(lái)定義在 BI 平臺(tái)上執(zhí)行的商業(yè)智能流程。流程可以很容易的被定制，也可以添加新的流程。BI 平臺(tái)包含組件和報(bào)表，用以分析這些流程的性能。目前，Pentaho 的主要組成元素包括報(bào)表生成、分析、數(shù)據(jù)挖掘和工作流管理等等。這些組件通過(guò) J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals 等技術(shù)集成到 Pentaho 平臺(tái)中來(lái)。Pentaho 的發(fā)行，主要以 Pentaho SDK 的形式進(jìn)行。
Pentaho SDK 共包含五個(gè)部分：Pentaho 平臺(tái)、Pentaho 示例數(shù)據(jù)庫(kù)、可獨(dú)立運(yùn)行的 Pentaho 平臺(tái)、Pentaho 解決方案示例和一個(gè)預(yù)先配制好的 Pentaho 網(wǎng)絡(luò)服務(wù)器。其中 Pentaho 平臺(tái)是 Pentaho 平臺(tái)最主要的部分，囊括了 Pentaho 平臺(tái)源代碼的主體;Pentaho 數(shù)據(jù)庫(kù)為 Pentaho 平臺(tái)的正常運(yùn)行提供的數(shù)據(jù)服務(wù)，包括配置信息、Solution 相關(guān)的信息等等，對(duì)于 Pentaho 平臺(tái)來(lái)說(shuō)它不是必須的，通過(guò)配置是可以用其它數(shù)據(jù)庫(kù)服務(wù)取代的; 可獨(dú)立運(yùn)行的 Pentaho 平臺(tái)是 Pentaho 平臺(tái)的獨(dú)立運(yùn)行模式的示例，它演示了如何使 Pentaho 平臺(tái)在沒(méi)有應(yīng)用服務(wù)器支持的情況下獨(dú)立運(yùn)行;Pentaho 解決方案示例是一個(gè) Eclipse 工程，用來(lái)演示如何為 Pentaho 平臺(tái)開(kāi)發(fā)相關(guān)的商業(yè)智能解決方案。
Pentaho BI 平臺(tái)構(gòu)建于服務(wù)器，引擎和組件的基礎(chǔ)之上。這些提供了系統(tǒng)的 J2EE 服務(wù)器，安全，portal，工作流，規(guī)則引擎，圖表，協(xié)作，內(nèi)容管理，數(shù)據(jù)集成，分析和建模功能。這些組件的大部分是基于標(biāo)準(zhǔn)的，可使用其他產(chǎn)品替換之。
9 個(gè) linux 數(shù)據(jù)分析命令行工具
1、head 與 tail
首先，讓我們先從文件處理開(kāi)始。文件中有什么內(nèi)容? 其格式如何? 大家可以使用 cat 命令在終端中顯示文件，但其顯然不適合處理內(nèi)容較長(zhǎng)的文件。
輸入 head 與 tail，二者能夠完整顯示文件中的指定行數(shù)內(nèi)容。如果大家未指定行數(shù)，則默認(rèn)顯示其中 10 行。
$ tail -n 3 jan2017articles.csv
02 Jan 2017,Article,Scott Nesbitt,3 tips for effectively using wikis for documentation,1,/article/17/1/tips-using-wiki-documentation, Documentation, Wiki ,710
02 Jan 2017,Article,Jen Wike Huger,The Opensource.com preview for January,0,/article/17/1/editorial-preview-january,,358
02 Jan 2017,Poll,Jason Baker,What is your open source New Year s resolution?,1,/poll/17/1/what-your-open-source-new-years-resolution,,186在最后三行中，我能夠找到日期、作者姓名、標(biāo)題以及其他一些信息。不過(guò)由于缺少列頭，我不清楚各列的具體含義。下面查看各列的具體標(biāo)題：
$ head -n 1 jan2017articles.csv
Post date,Content type,Author,Title,Comment count,Path,Tags,Word count現(xiàn)在一切都非常明確，我們可以看到發(fā)布日期、內(nèi)容類型、作者、標(biāo)題、提交次數(shù)、相關(guān) URL、各文章標(biāo)簽以及字?jǐn)?shù)。
2、wc
但如果需要分析數(shù)百甚至上千篇文章，又該如何處理? 這里就要使用 wc 命令了——其為“字?jǐn)?shù)”一詞的縮寫。wc 能夠?qū)ξ募淖止?jié)、字符、單詞或者行數(shù)進(jìn)行計(jì)數(shù)。在本示例中，我們希望了解文章中的行數(shù)。
$ wc -l jan2017articles.csv 93 jan2017articles.csv本文件共有 93 行，考慮到第一行中包含文件標(biāo)題，因此可以推測(cè)此文件是一份包含 92 篇文章的列表。
3、grep
下面提出新的問(wèn)題：其中有多少篇文章與安全話題有關(guān)? 為了實(shí)現(xiàn)目標(biāo)，我們假定需要的文章會(huì)在標(biāo)題、標(biāo)簽或者其他位置提到安全這一字眼。這時(shí)，grep 工具可用于通過(guò)特定字符搜索文件或者實(shí)現(xiàn)其他搜索模式。這是一款極為強(qiáng)大的工具，因?yàn)槲覀兩踔聊軌蚶谜齽t表達(dá)式建立極為精確的匹配模式。不過(guò)這里，我們只需要尋找一條簡(jiǎn)單的字符串。
$ grep -i security jan2017articles.csv
30 Jan 2017,Article,Tiberius Hefflin,4 ways to improve your security online right now,3,/article/17/1/4-ways-improve-your-online-security,Security and encryption,1242
28 Jan 2017,Article,Subhashish Panigrahi,How communities in India support privacy and software freedom,0,/article/17/1/how-communities-india-support-privacy-software-freedom,Security and encryption,453
27 Jan 2017,Article,Alan Smithee,Data Privacy Day 2017: Solutions for everyday privacy,5,/article/17/1/every-day-privacy, Big data, Security and encryption ,1424
04 Jan 2017,Article,Daniel J Walsh,50 ways to avoid getting hacked in 2017,14,/article/17/1/yearbook-50-ways-avoid-getting-hacked, Yearbook, 2016 Open Source Yearbook, Security and encryption, Containers, Docker, Linux ,2143我們使用的格式為 grep 加 - i 標(biāo)記(告知 grep 不區(qū)分大小寫)，再加我們希望搜索的模式，最后是我們所搜索的目標(biāo)文件的位置。最后我們找到了 4 篇安全相關(guān)文章。如果搜索的范圍更加具體，我們可以使用 pipe——它能夠?qū)?grep 同 wc 命令加以結(jié)合，用以了解其中有多少行提到了安全內(nèi)容。
$ grep -i security jan2017articles.csv | wc -l 4這樣，wc 會(huì)提取 grep 命令的輸出結(jié)果并將其作為輸入內(nèi)容。很明顯，這種結(jié)合再加上一點(diǎn) shell 腳本，終端將立即變成一款強(qiáng)大的數(shù)據(jù)分析工具。
4、tr
在多數(shù)分析場(chǎng)景下，我們都會(huì)面對(duì) CSV 文件——但我們?cè)撊绾螌⑵滢D(zhuǎn)換為其他格式以實(shí)現(xiàn)不同應(yīng)用方式? 這里，我們將其轉(zhuǎn)化為 HTML 形式以通過(guò)表格進(jìn)行數(shù)據(jù)使用。tr 命令可幫助大家實(shí)現(xiàn)這一目標(biāo)，它可將一類字符轉(zhuǎn)化為另一類。同樣的，大家也可以配合 pipe 命令實(shí)現(xiàn)輸出 / 輸入對(duì)接。
下面，我們?cè)囋嚵硪粋€(gè)多部分示例，即創(chuàng)建一個(gè) TSV(即制表符分隔值)文件，其中只包含發(fā)表于 1 月 20 日的文章。
$ grep 20 Jan 2017 jan2017articles.csv | tr , /t jan20only.tsv首先，我們利用 grep 進(jìn)行日期查詢。我們將此結(jié)果 pipe 至 tr 命令，并利用后者將全部逗號(hào)替換為 tab(表示為 /t)。但結(jié)果去哪了? 這里我們使用〉字符將結(jié)果輸出為新文件而非屏幕結(jié)果。如此一來(lái)，我們可以 dqywjan20only.tsv 文件中一定包含預(yù)期的數(shù)據(jù)。
$ cat jan20only.tsv 20 Jan 2017 Article Kushal Das 5 ways to expand your project s contributor base 2 /article/17/1/expand-project-contributor-base Getting started 690 20 Jan 2017 Article D Ruth Bavousett How to write web apps in R with Shiny 2 /article/17/1/writing-new-web-apps-shiny Web development 218 20 Jan 2017 Article Jason Baker Top 5: Shell scripting the Cinnamon Linux desktop environment and more 0 /article/17/1/top-5-january-20 Top 5 214 20 Jan 2017 Article Tracy Miranda How is your community promoting diversity? 1 /article/17/1/take-action-diversity-tech Diversity and inclusion 10075、sort
如果我們先要找到包含信息最多的特定列，又該如何操作? 假設(shè)我們需要了解哪篇文章包含最長(zhǎng)的新文章列表，那么面對(duì)之前得出的 1 月 20 日文章列表，我們可以使用 sort 命令對(duì)列字?jǐn)?shù)進(jìn)行排序。在這種情況下，我們并不需要使用中間文件，而可以繼續(xù)使用 pipe。不過(guò)將長(zhǎng)命令鏈拆分成較短的部分往往能夠簡(jiǎn)化整個(gè)操作過(guò)程。
$ sort -nr -t$ /t -k8 jan20only.tsv | head -n 1
20 Jan 2017 Article Tracy Miranda How is your community promoting diversity? 1 /article/17/1/take-action-diversity-tech Diversity and inclusion 1007以上是一條長(zhǎng)命令，我們嘗試進(jìn)行拆分。首先，我們使用 sort 命令對(duì)字?jǐn)?shù)進(jìn)行排序。-nr 選項(xiàng)告知 sort 以數(shù)字排序，并將結(jié)果進(jìn)行反向排序(由大到小)。此后的 -t$ /t 則告知 sort 其中的分隔符為 tab(/t)。其中的 $ 要求此 shell 為一條需要處理的字符串，并將 / n 返回為 tab。而 -k8 部分則告知 sort 命令使用第八列，即本示例中進(jìn)行字?jǐn)?shù)統(tǒng)計(jì)的目標(biāo)列。
最后，輸出結(jié)果被 pipe 至 head，處理后在結(jié)果中顯示此文件中包含最多字?jǐn)?shù)的文章標(biāo)題。
6、sed
大家可能還需要在文件中選擇特定某行。這里可以使用 sed。如果希望將全部包含標(biāo)題的多個(gè)文件加以合并，并只為整體文件顯示一組標(biāo)題，即需要清除額外內(nèi)容；或者希望只提取特定行范圍，同樣可以使用 sed。另外，sed 還能夠很好地完成批量查找與替換任務(wù)。
下面立足之前的文章列表創(chuàng)建一個(gè)不含標(biāo)題的新文件，用于同其他文件合并(例如我們每月都會(huì)定期生成某個(gè)文件，現(xiàn)在需要將各個(gè)月份的內(nèi)容進(jìn)行合并)。
$ sed 1 d jan2017articles.csv jan17no_headers.csv
其中的“1 d”選項(xiàng)要求 sed 刪除第一行。
7、cut
了解了如何刪除行，那么我們?cè)撊绾蝿h除列? 或者說(shuō)如何只選定某一列? 下面我們嘗試為之前生成的列表創(chuàng)建一份新的作者清單。
$ cut -d , -f3 jan17no_headers.csv authors.txt在這里，通過(guò) cut 與 - d 相配合代表著我們需要第三列(-f3)，并將結(jié)果發(fā)送至名為 authors.txt 的新文件。
8、uniq
作者清單已經(jīng)完成，但我們要如何知悉其中包含多少位不同的作者? 每位作者又各自編寫了多少篇文章? 這里使用 unip。下面我們對(duì)文件進(jìn)行 sort 排序，找到唯一值，而后計(jì)算每位作者的文章數(shù)量，并用結(jié)果替換原本內(nèi)容。
sort authors.txt | uniq -c authors.txt現(xiàn)在已經(jīng)可以看到每位作者的對(duì)應(yīng)文章數(shù)，下面檢查最后三行以確保結(jié)果正確。
$ tail -n3 authors-sorted.txt
1 Tracy Miranda
1 Veer Muchandi
3 VM (Vicky) Brasseur9、awk
最后讓我們了解最后一款工具，awk。awk 是一款出色的替換性工具，當(dāng)然其功能遠(yuǎn)不止如此。下面我們重新回歸 1 月 12 日文章列表 TSV 文件，利用 awk 創(chuàng)建新列表以標(biāo)明各篇文章的作者以及各作者編寫的具體字?jǐn)?shù)。
$ awk -F /t {print $3 $NF} jan20only.tsv
Kushal Das 690
D Ruth Bavousett 218
Jason Baker 214
Tracy Miranda 1007其中的 -F /t 用于告知 awk 目前處理的是由 tab 分隔的數(shù)據(jù)。在大括號(hào)內(nèi)，我們?yōu)?awk 提供執(zhí)行代碼。$3 代表要求其將輸出第三行，而 $NF 則代表輸出最后一行(即‘字段數(shù)’的縮寫)，并在兩項(xiàng)結(jié)果間添加兩個(gè)空格以進(jìn)行明確劃分。
雖然這里列舉的例子規(guī)模較小，看似不必使用上述工具解決，但如果將范圍擴(kuò)大到包含 93000 行的文件，那么它顯然很難利用電子表格程序進(jìn)行處理。
利用這些簡(jiǎn)單的工具與小型腳本，大家可以避免使用數(shù)據(jù)庫(kù)工具并輕松完成大量數(shù)據(jù)統(tǒng)計(jì)工作。無(wú)論您是專業(yè)人士還是業(yè)余愛(ài)好者，它的作用都不容忽視。
到此，關(guān)于“l(fā)inux 數(shù)據(jù)分析工具怎么用”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注丸趣 TV 網(wǎng)站，丸趣 TV 小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！
