Colab & Jupyter

Colab 連不到叢集,
想用筆記本請用 Jupyter

Google Colab 的程式不是在你的電腦上執行,而是在 Google 的雲端機房裡。叢集放在學校的內部網路,雲端機房連不進來,所以 Colab 無法使用這台 LLM。

想用「筆記本」的方式寫?裝 JupyterLab

喜歡 Colab 那種一格一格執行的寫法,可以在自己的電腦上安裝 JupyterLab。它和 Colab 幾乎一樣,但程式在你的電腦上執行,只要連著校內網路就能使用叢集。

  1. 安裝在終端機輸入 pip install jupyterlab openai
  2. 啟動輸入 jupyter lab,瀏覽器會自動打開。點「Python 3」建立新的筆記本。
  3. 連線在第一格貼上下面的程式並執行。用 getpass 輸入 key,key 就不會被存進筆記本檔案裡。
from getpass import getpass
from openai import OpenAI

client = OpenAI(
    base_url="http://192.168.16.233:4000/v1",
    api_key=getpass("請輸入 API key:"),
)
response = client.chat.completions.create(
    model="gpt-oss-120b",
    messages=[{"role": "user", "content": "用一句話介紹 Jupyter"}],
)
print(response.choices[0].message.content)

之後的寫法和 快速開始完全一樣。

Colab 還是很好用

Colab 適合不需要呼叫 LLM 的部分:Python 練習、資料分析、畫圖、用 Colab 的 GPU 訓練小模型等。只有「呼叫校內 LLM」這一步要在校內電腦上做。

專題分工小技巧: 資料整理、畫圖可以在 Colab 做;需要 AI 的部分寫成獨立的 .py 檔,在校內用 PyCharm 或 JupyterLab 執行,把結果存成 CSV,再拿回 Colab 分析。