共計 499 個字符，預計需要花費 2 分鐘才能閱讀完成。

在 Python 中，可以使用多種庫來對文本進行分詞，包括 NLTK、jieba、spaCy 等。下面分別介紹一下這些庫的用法：

1. 使用 NLTK 庫進行分詞：

import nltk
nltk.download('punkt')  # 下載必要的數據
text = "Hello, how are you?"
tokens = nltk.word_tokenize(text)
print(tokens)

1. 使用 jieba 庫進行中文分詞：

import jieba
text = "你好，今天天氣不錯"
tokens = jieba.cut(text)
print(list(tokens))

1. 使用 spaCy 庫進行分詞（需要提前安裝 spaCy 和對應的語言模型）：

import spacy
nlp = spacy.load('en_core_web_sm')  # 加載英文語言模型
text = "Hello, how are you?"
doc = nlp(text)
tokens = [token.text for token in doc]
print(tokens)

這些庫還可以進行更復雜的文本處理操作，比如詞性標注、命名實體識別等。具體的使用方法可以參考它們的官方文檔。

丸趣 TV 網 – 提供最優質的資源集合！