共計 2453 個字符,預計需要花費 7 分鐘才能閱讀完成。
這篇文章主要為大家展示了“spark mllib 分類預測之如何實現邏輯回歸”,內容簡而易懂,條理清晰,希望能夠幫助大家解決疑惑,下面讓丸趣 TV 小編帶領大家一起研究并學習一下“spark mllib 分類預測之如何實現邏輯回歸”這篇文章吧。
胃癌轉移數據說明
腎細胞癌轉移情況 (有轉移 y=1, 無轉移 y=2)
x1: 確診時患者年齡 (歲)
x2: 腎細胞癌血管內皮生長因子 (VEGF), 其陽性表述由低到高共3個等級
x3: 腎細胞癌組織內微血管數 (MVC)
x4: 腎癌細胞核組織學分級,由低到高共4級
x5: 腎細胞癌分期,由低到高共4級
y x1 x2 x3 x4 x50 59 2 43.4 2 1
運行代碼如下
package spark.logisticRegression
import org.apache.spark.mllib.classification.LogisticRegressionWithSGD
import org.apache.spark.mllib.evaluation.MulticlassMetrics
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.util.MLUtils
import org.apache.spark.{SparkConf, SparkContext}
* MLLib 分類,邏輯回歸,是分類,不是回歸
* 胃癌轉移判斷
* Created by eric on 16-7-17.
*/
object LogisticRegression4 { val conf = new SparkConf() // 創建環境變量
.setMaster(local) // 設置本地化處理
.setAppName(LogisticRegression4)// 設定名稱
val sc = new SparkContext(conf)
def main(args: Array[String]) { val data = MLUtils.loadLibSVMFile(sc, ./src/main/spark/logisticRegression/wa.txt) // 讀取數據文件, 一定注意文本格式
val splits = data.randomSplit(Array(0.7, 0.3), seed = 11L) // 對數據集切分
val parsedData = splits(0) // 分割訓練數據
val parseTtest = splits(1) // 分割測試數據
val model = LogisticRegressionWithSGD.train(parsedData,50) // 訓練模型
val predictionAndLabels = parseTtest.map {// 計算測試值
case LabeledPoint(label, features) = // 計算測試值
val prediction = model.predict(features)// 計算測試值
(prediction, label) // 存儲測試和預測值
}
val metrics = new MulticlassMetrics(predictionAndLabels)// 創建驗證類
val precision = metrics.precision // 計算驗證值
println(Precision = + precision) // 打印驗證值
val patient = Vectors.dense(Array(70,3,180.0,4,3)) // 計算患者可能性
val prediction = model.predict(patient)
if(prediction == 1) println(患者的胃癌有幾率轉移。)// 做出判斷
else println(患者的胃癌沒有幾率轉移。) // 做出判斷
//Precision = 0.3333333333333333
// 患者的胃癌沒有幾率轉移。 }
}
wa.txt
0 1:59 2:2 3:43.4 4:2 5:1
0 1:36 2:1 3:57.2 4:1 5:1
0 1:61 2:2 3:190 4:2 5:1
1 1:58 2:3 3:128 4:4 5:3
1 1:55 2:3 3:80 4:3 5:4
0 1:61 2:1 3:94 4:4 5:2
0 1:38 2:1 3:76 4:1 5:1
0 1:42 2:1 3:240 4:3 5:2
0 1:50 2:1 3:74 4:1 5:1
0 1:58 2:2 3:68.6 4:2 5:2
0 1:68 2:3 3:132.8 4:4 5:2
1 1:25 2:2 3:94.6 4:4 5:3
0 1:52 2:1 3:56 4:1 5:1
0 1:31 2:1 3:47.8 4:2 5:1
1 1:36 2:3 3:31.6 4:3 5:1
0 1:42 2:1 3:66.2 4:2 5:1
1 1:14 2:3 3:138.6 4:3 5:3
0 1:32 2:1 3:114 4:2 5:3
0 1:35 2:1 3:40.2 4:2 5:1
1 1:70 2:3 3:177.2 4:4 5:3
1 1:65 2:2 3:51.6 4:4 5:4
0 1:45 2:2 3:124 4:2 5:4
1 1:68 2:3 3:127.2 4:3 5:3
0 1:31 2:2 3:124.8 4:2 5:3
結果如圖
以上是“spark mllib 分類預測之如何實現邏輯回歸”這篇文章的所有內容,感謝各位的閱讀!相信大家都有了一定的了解,希望分享的內容對大家有所幫助,如果還想學習更多知識,歡迎關注丸趣 TV 行業資訊頻道!
正文完