基于KubeSphere CI/CD如何將Spring Boot項目發布至Kubernetes

213次閱讀

共計 7435 個字符，預計需要花費 19 分鐘才能閱讀完成。

基于 KubeSphere CI/CD 如何將 Spring Boot 項目發布至 Kubernetes，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面丸趣 TV 小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

基于開源的 KubeSphere 容器平臺演示如何通過 GitHub 倉庫中的 Jenkinsfile 來創建流水線，流水線共包括 8 個階段，最終將一個 Hello World 頁面部署到 Kubernetes 集群中的不同 namespace。

流水線概覽

下面的流程圖簡單說明了流水線完整的工作過程：

流程說明：

階段一. Checkout SCM: 拉取 GitHub 倉庫代碼

階段二. Unit test: 單元測試，如果測試通過了才繼續下面的任務

階段三. sonarQube analysis：sonarQube 代碼質量檢測

階段四. Build push snapshot image: 根據行為策略中所選擇分支來構建鏡像，并將 tag 為 SNAPSHOT-$BRANCH_NAME-$BUILD_NUMBER 推送至 Harbor (其中 $BUILD_NUMBER 為 pipeline 活動列表的運行序號)。

階段五. Push latest image: 將 master 分支打上 tag 為 latest，并推送至 DockerHub。

階段六. Deploy to dev: 將 master 分支部署到 Dev 環境，此階段需要審核。

階段七. Push with tag: 生成 tag 并 release 到 GitHub，并推送到 DockerHub。

階段八. Deploy to production: 將發布的 tag 部署到 Production 環境。

創建憑證

使用 project-regular 登錄 KubeSphere，進入已創建的 devops-demo 工程，開始創建憑證。

1、本示例代碼倉庫中的 Jenkinsfile 需要用到 DockerHub、GitHub 和 kubeconfig (kubeconfig 用于訪問接入正在運行的 Kubernetes 集群) 等一共 3 個憑證 (credentials)。2、然后創建一個 Java 的 Token 并復制。

3、最后在 KubeSphere 中進入 devops-demo 的 DevOps 工程中，與上面步驟類似，在憑證下點擊創建，創建一個類型為秘密文本的憑證，憑證 ID 命名為 sonar-token，密鑰為上一步復制的 token 信息，完成后點擊確定。

至此，4 個憑證已經創建完成，下一步需要在示例倉庫中的 jenkinsfile 修改對應的四個憑證 ID 為用戶自己創建的憑證 ID。

修改 Jenkinsfile 第一步：Fork 項目

登錄 GitHub，將本示例用到的 GitHub 倉庫 devops-java-sample Fork 至您個人的 GitHub。

第二步：修改 Jenkinsfile

1、Fork 至您個人的 GitHub 后，在根目錄進入 Jenkinsfile-online。

2、在 GitHub UI 點擊編輯圖標，需要修改如下環境變量 (environment) 的值。

修改項值含義 DOCKER_CREDENTIAL_IDdockerhub-id 填寫創建憑證步驟中的 DockerHub 憑證 ID，用于登錄您的 DockerHubGITHUB_CREDENTIAL_IDgithub-id 填寫創建憑證步驟中的 GitHub 憑證 ID，用于推送 tag 到 GitHub 倉庫 KUBECONFIG_CREDENTIAL_IDdemo-kubeconfigkubeconfig 憑證 ID，用于訪問接入正在運行的 Kubernetes 集群 REGISTRYdocker.io 默認為 docker.io 域名，用于鏡像的推送 DOCKERHUB_NAMESPACEyour-dockerhub-account 替換為您的 DockerHub 賬號名 br (它也可以是賬戶下的 Organization 名稱)GITHUB_ACCOUNTyour-github-account 替換為您的 GitHub 賬號名，例如 https://github.com/kubesphere/ 則填寫 kubesphere (它也可以是賬戶下的 Organization 名稱)APP_NAMEdevops-java-sample 應用名稱 SONAR_CREDENTIAL_IDsonar-token 填寫創建憑證步驟中的 SonarQube token 憑證 ID，用于代碼質量檢測

注：Jenkinsfile 中 mvn 命令的參數 -o，表示開啟離線模式。本示例為適應某些環境下網絡的干擾，以及避免在下載依賴時耗時太長，已事先完成相關依賴的下載，默認開啟離線模式。

3、修改以上的環境變量后，點擊 Commit changes，將更新提交到當前的 master 分支。

創建項目

CI/CD 流水線會根據示例項目的 yaml 模板文件，最終將示例分別部署到 Dev 和 Production 這兩個項目 (Namespace) 環境中，即 kubesphere-sample-dev 和 kubesphere-sample-prod，這兩個項目需要預先在控制臺依次創建，參考如下步驟創建該項目。

第一步：創建第一個項目

1、使用項目管理員 project-admin 賬號登錄 KubeSphere，在之前創建的企業空間 (demo-workspace) 下，點擊項目 → 創建，創建一個資源型項目，作為本示例的開發環境，填寫該項目的基本信息，完成后點擊下一步。

名稱：固定為 kubesphere-sample-dev，若需要修改項目名稱則需在 yaml 模板文件中修改 namespace

別名：可自定義，比如開發環境

描述信息：可簡單介紹該項目，方便用戶進一步了解

2、本示例暫無資源請求和限制，因此高級設置中無需修改默認值，點擊創建，項目可創建成功。

第二步：邀請成員

第一個項目創建完后，還需要項目管理員 project-admin 邀請當前的項目普通用戶 project-regular 進入 kubesphere-sample-dev 項目，進入「項目設置」→「項目成員」，點擊「邀請成員」選擇邀請 project-regular 并授予 operator 角色。

第三步：創建第二個項目

同上，參考以上兩步創建一個名稱為 kubesphere-sample-prod 的項目作為生產環境，并邀請普通用戶 project-regular 進入 kubesphere-sample-prod 項目并授予 operator 角色。

說明：當 CI/CD 流水線后續執行成功后，在 kubesphere-sample-dev 和 kubesphere-sample-prod 項目中將看到流水線創建的部署 (Deployment) 和服務 (Service)。

創建流水線第一步：填寫基本信息

1、進入已創建的 DevOps 工程，選擇左側菜單欄的流水線，然后點擊創建。

2、在彈出的窗口中，輸入流水線的基本信息。

名稱：為創建的流水線起一個簡潔明了的名稱，便于理解和搜索

描述信息：簡單介紹流水線的主要特性，幫助進一步了解流水線的作用

代碼倉庫：點擊選擇代碼倉庫，代碼倉庫需已存在 Jenkinsfile

第二步：添加倉庫

1、點擊代碼倉庫，以添加 Github 倉庫為例。

2、點擊彈窗中的獲取 Token。

3、在 GitHub 的 access token 頁面填寫 Token description，簡單描述該 token，如 DevOps demo，在 Select scopes 中無需任何修改，點擊 Generate token，GitHub 將生成一串字母和數字組成的 token 用于訪問當前賬戶下的 GitHub repo。

4、復制生成的 token，在 KubeSphere Token 框中輸入該 token 然后點擊保存。

5、驗證通過后，右側會列出此 Token 關聯用戶的所有代碼庫，選擇其中一個帶有 Jenkinsfile 的倉庫。比如此處選擇準備好的示例倉庫 devops-java-sample，點擊選擇此倉庫，完成后點擊下一步。

第三步：高級設置

完成代碼倉庫相關設置后，進入高級設置頁面，高級設置支持對流水線的構建記錄、行為策略、定期掃描等設置的定制化，以下對用到的相關配置作簡單釋義。

1、構建設置中，勾選丟棄舊的構建，此處的保留分支的天數和保留分支的最大個數默認為 -1。

說明：

分支設置的保留分支的天數和保持分支的最大個數兩個選項可以同時對分支進行作用，只要某個分支的保留天數和個數不滿足任何一個設置的條件，則將丟棄該分支。假設設置的保留天數和個數為 2 和 3，則分支的保留天數一旦超過 2 或者保留個數超過 3，則將丟棄該分支。默認兩個值為 -1，表示不自動刪除分支。

丟棄舊的分支將確定何時應丟棄項目的分支記錄。分支記錄包括控制臺輸出，存檔工件以及與特定分支相關的其他元數據。保持較少的分支可以節省 Jenkins 所使用的磁盤空間，我們提供了兩個選項來確定應何時丟棄舊的分支：

保留分支的天數：如果分支達到一定的天數，則丟棄分支。

保留分支的個數：如果已經存在一定數量的分支，則丟棄最舊的分支。

2、行為策略中，KubeSphere 默認添加了三種策略。由于本示例還未用到從 Fork 倉庫中發現 PR 這條策略，此處可以刪除該策略，點擊右側刪除按鈕。

說明：

支持添加三種類型的發現策略。需要說明的是，在 Jenkins 流水線被觸發時，開發者提交的 PR (Pull Request) 也被視為一個單獨的分支。

發現分支：

排除也作為 PR 提交的分支：選擇此項表示 CI 將不會掃描源分支 (比如 Origin 的 master branch)，也就是需要被 merge 的分支

只有被提交為 PR 的分支：僅掃描 PR 分支

所有分支：拉取的倉庫 (origin) 中所有的分支

從原倉庫中發現 PR：

PR 與目標分支合并后的源代碼版本：一次發現操作，基于 PR 與目標分支合并后的源代碼版本創建并運行流水線

PR 本身的源代碼版本：一次發現操作，基于 PR 本身的源代碼版本創建并運行流水線

當 PR 被發現時會創建兩個流水線，一個流水線使用 PR 本身的源代碼版本，一個流水線使用 PR 與目標分支合并后的源代碼版本：兩次發現操作，將分別創建兩條流水線，第一條流水線使用 PR 本身的源代碼版本，第二條流水線使用 PR 與目標分支合并后的源代碼版本

3、默認的腳本路徑為 Jenkinsfile，請將其修改為 Jenkinsfile-online。

注：路徑是 Jenkinsfile 在代碼倉庫的路徑，表示它在示例倉庫的根目錄，若文件位置變動則需修改其腳本路徑。

4、在掃描 Repo Trigger 勾選如果沒有掃描觸發，則定期掃描，掃描時間間隔可根據團隊習慣設定，本示例設置為 5 minutes。

說明：定期掃描是設定一個周期讓流水線周期性地掃描遠程倉庫，根據行為策略查看倉庫有沒有代碼更新或新的 PR。

Webhook 推送：

Webhook 是一種高效的方式可以讓流水線發現遠程倉庫的變化并自動觸發新的運行，GitHub 和 Git (如 Gitlab) 觸發 Jenkins 自動掃描應該以 Webhook 為主，以上一步在 KubeSphere 設置定期掃描為輔。在本示例中，可以通過手動運行流水線，如需設置自動掃描遠端分支并觸發運行，詳見設置自動觸發掃描 – GitHub SCM。

完成高級設置后點擊創建。

第四步：運行流水線

流水線創建后，點擊瀏覽器的刷新按鈕，可見一條自動觸發遠程分支后的運行記錄。

1、點擊右側運行，將根據上一步的行為策略自動掃描代碼倉庫中的分支，在彈窗選擇需要構建流水線的 master 分支，系統將根據輸入的分支加載 Jenkinsfile-online (默認是根目錄下的 Jenkinsfile)。

2、由于倉庫的 Jenkinsfile-online 中 TAG_NAME: defaultValue 沒有設置默認值，因此在這里的 TAG_NAME 可以輸入一個 tag 編號，比如輸入 v0.0.1。

3、點擊確定，將新生成一條流水線活動開始運行。

說明: tag 用于在 Github 和 DockerHub 中分別生成帶有 tag 的 release 和鏡像。注意: 在主動運行流水線以發布 release 時，TAG_NAME 不應與之前代碼倉庫中所存在的 tag 名稱重復，如果重復會導致流水線的運行失敗。

至此，流水線已完成創建并開始運行。

注：點擊分支切換到分支列表，查看流水線具體是基于哪些分支運行，這里的分支則取決于上一步行為策略的發現分支策略。

第五步：審核流水線

為方便演示，此處默認用當前賬戶來審核，當流水線執行至 input 步驟時狀態將暫停，需要手動點擊繼續，流水線才能繼續運行。注意，在 Jenkinsfile-online 中分別定義了三個階段 (stage) 用來部署至 Dev 環境和 Production 環境以及推送 tag，因此在流水線中依次需要對 deploy to dev, push with tag, deploy to production 這三個階段審核 3 次，若不審核或點擊終止則流水線將不會繼續運行。

說明：在實際的開發生產場景下，可能需要更高權限的管理員或運維人員來審核流水線和鏡像，并決定是否允許將其推送至代碼或鏡像倉庫，以及部署至開發或生產環境。Jenkinsfile 中的 input 步驟支持指定用戶審核流水線，比如要指定用戶名為 project-admin 的用戶來審核，可以在 Jenkinsfile 的 input 函數中追加一個字段，如果是多個用戶則通過逗號分隔，如下所示：

···
input(id:  release-image-with-tag , message:  release image with tag? , submitter:  project-admin,project-admin1)
···

查看流水線

1、點擊流水線中活動列表下當前正在運行的流水線序列號，頁面展現了流水線中每一步驟的運行狀態，注意，流水線剛創建時處于初始化階段，可能僅顯示日志窗口，待初始化 (約一分鐘) 完成后即可看到流水線。黑色框標注了流水線的步驟名稱，示例中流水線共 8 個 stage，分別在 Jenkinsfile-online 中被定義。

2、當前頁面中點擊右上方的查看日志，查看流水線運行日志。頁面展示了每一步的具體日志、運行狀態及時間等信息，點擊左側某個具體的階段可展開查看其具體的日志。日志可下載至本地，如出現錯誤，下載至本地更便于分析定位問題。

驗證運行結果

1、若流水線執行成功，點擊該流水線下的代碼質量，即可看到通過 SonarQube 的代碼質量檢測結果，如下圖 (僅供參考)。

2、流水線最終 build 的 Docker 鏡像也將被成功地 push 到 DockerHub 中，我們在 Jenkinsfile-online 中已經配置過 DockerHub，登錄 DockerHub 查看鏡像的 push 結果，可以看到 tag 為 snapshot、TAG_NAME(master-1)、latest 的鏡像已經被 push 到 DockerHub，并且在 GitHub 中也生成了一個新的 tag 和 release。Hello World 示例頁面最終將以 deployment 和 service 分別部署到 KubeSphere 的 kubesphere-sample-dev 和 kubesphere-sample-prod 項目環境中。

環境訪問地址所在項目 (Namespace) 部署 (Deployment) 服務 (Service)Devhttp://{$Virtual IP}:{$8080} br 或者 http://{$ 內網 / 公網 IP}:{$30861}kubesphere-sample-devks-sample-devks-sample-devProductionhttp://{$Virtual IP}:{$8080} br 或者 http://{$ 內網 / 公網 IP}:{$30961}kubesphere-sample-prodks-sampleks-sample

3、可通過 KubeSphere 回到項目列表，依次查看之前創建的兩個項目中的部署和服務的狀態。例如，以下查看 kubesphere-sample-prod 項目下的部署。

進入該項目，在左側的菜單欄點擊工作負載 → 部署，可以看到 ks-sample 已創建成功。正常情況下，部署的狀態應該顯示運行中。

4、在菜單欄中選擇網絡與服務 → 服務也可以查看對應創建的服務，可以看到該服務的 Virtual IP 為 10.233.42.3，對外暴露的節點端口 (NodePort) 是 30961。

查看服務

5、查看推送到您個人的 DockerHub 中的鏡像，可以看到 devops-java-sample 就是 APP_NAME 的值，而 tag 也是在 jenkinsfile-online 中定義的 tag。

6、點擊 release，查看 Fork 到您個人 GitHub repo 中的 v0.0.1 tag 和 release，它是由 jenkinsfile 中的 push with tag 生成的。

訪問示例服務

若在內網環境訪問部署的 HelloWorld 示例服務，可通過 SSH 登陸集群節點，或使用集群管理員登陸 KubeSphere 在 web kubectl 中輸入以下命令驗證訪問，其中 Cluster IP 和節點端口 (NodePort) 可通過對應項目下的服務中查看：

驗證 Dev 環境的示例服務

# curl {$Virtual IP}:{$Port}  或者  curl {$ 內網  IP}:{$NodePort}
curl 10.233.40.5:8080
Hello,World!

驗證 Prodcution 環境的示例服務

# curl {$Virtual IP}:{$Port}  或者  curl {$ 內網  IP}:{$NodePort}
curl 10.233.42.3:8080
Hello,World!

KubeSphere (https://github.com/kubesphere/kubesphere) 是一個開源的以應用為中心的容器管理平臺，支持部署在任何基礎設施之上，并提供簡單易用的 UI，極大減輕日常開發、測試、運維的復雜度，旨在解決 Kubernetes 本身存在的存儲、網絡、安全和易用性等痛點，幫助企業輕松應對敏捷開發與自動化監控運維、端到端應用交付、微服務治理、多租戶管理、多集群管理、服務與網絡管理、鏡像倉庫、AI 平臺、邊緣計算等業務場景。

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注丸趣 TV 行業資訊頻道，感謝您對丸趣 TV 的支持。

正文完