TNFSH · 校內 AI 叢集
三台 Mac mini，
串成一顆
1200 億參數的大腦
這就是你眼前的 EXO-LLM：一台放不下的大型語言模型，三台一起跑。Python 課程與 AI 專題，免費使用。
What is EXO?
把一個太大的 AI，切開來一起算
EXO 是開源的「分散式推論」軟體。它把大型語言模型的 36 層切成三段，每台 Mac mini 負責一段，算完就透過 Thunderbolt 線把結果接力傳給下一台。
就像一本一個人搬不動的厚書，拆成三冊、三個人一起搬。
Architecture
架構
Why a cluster?
一台放不下，三台跑得動
48–64GB
每台 Mac mini 的記憶體
單獨一台裝不下
Benchmarks
實測速度
5×
比 700 億參數的
Llama 3.3 單機還快
秘密在於「混合專家」（MoE）架構：1200 億參數中，每產生一個字只用到約 50 億。
Why on campus?
為什麼要在校內架 AI？
01
免費，不怕燒錢
雲端 AI 依用量計費，迴圈寫錯一晚就能燒掉幾千元。這裡練習一毛都不用花。
02
資料不離開學校
你送出的內容只在這三台電腦間處理，不會傳到任何雲端公司。
03
學的是業界標準
和 ChatGPT API 一模一樣的寫法。學會了，換成任何雲端服務只要改一行網址。
04
看得見的 AI
模型就在你眼前運作。分層、記憶體、網路、耗電都能觀察，甚至拿來當科展題目。
For your project
你的專題可以用它做什麼？
寫程式
程式助教
在 PyCharm 裡解釋錯誤、改寫程式、產生測試資料。
做應用
AI 功能
聊天機器人、自動出題、作文回饋、會說話的遊戲 NPC。
RAG
讀你的資料
把校規、課本、籤詩做成「只根據資料回答」的問答系統。
Agent
會用工具的 AI
讓 AI 自己決定什麼時候呼叫你寫的 Python 函式。
科展
研究叢集本身
分散式運算、量化、耗能、多人排隊，都是少見的題目。
JSON
結構化輸出
讓 AI 輸出程式能直接讀取的資料格式。
Vibe Coding
用 AI 一起寫 Python 的節奏
AI 會出錯，而且出錯時語氣一樣很有自信。程式一定要自己測試。
Python
幾行 Python 就能用
from openai import OpenAI
client = OpenAI(base_url="http://192.168.16.233:4000/v1",
api_key="你的API key")
r = client.chat.completions.create(
model="gpt-oss-120b",
messages=[{"role": "user", "content": "用一句話介紹 Python"}])
print(r.choices[0].message.content)
Try it · 實作範例
問它：「最近學校有
什麼重要考試？」
考試小幫手會先抓學校官網的「考試資訊」，再交給校內 AI 整理成清單。這就是 RAG：先找資料，再讓 AI 回答。
⚠ 只能在校內網路使用（行動網路連不到）
掃我試用192.168.16.233:8501
掃我學怎麼做網站「實作範例」
Get started
掃描 QR code
開始使用
設定教學、範例程式、PyCharm 設定都在這裡：
letranger.github.io/exo-llm
API key：請向資訊老師申請（一人一把）
掃我看教學letranger.github.io
/exo-llm
