為萊彩 Flow 訓練自訂物件偵測模型

• 涵蓋不同位置、大小、光線、背景、動畫階段與部分遮擋。
• 保留難例：很小的目標、畫面邊緣目標、模糊、彈窗，以及與目標很像的非目標。
• 加入一部分完全沒有目標類別的背景圖；這些圖片對應的標籤檔為空。
• 沒有通用的最低數量。第一次測試可先確保每類至少 50 個有差異的框；難分或相似類別通常需要 100–200 個甚至更多。

• 圖片中所有目標類別的每一個可見實例都必須標註；漏標的目標會被當成背景學習。
• 所有圖片採用同一套畫框規則：緊貼可見物件，不要留下大片空白。
• 如果標註工具會處理空格，優先使用 CopperDepleted 或 copper_depleted 這類名稱。

1. 1

   開啟 MakeSense.ai 並上傳原始圖片。原圖資料夾要自行保留；匯出的標籤 ZIP 不能取代原圖。

2. 2

   選擇 Object Detection，不要選擇 Image Recognition。

3. 3

   依固定順序建立最終類別表，再為每一個目標實例畫矩形框。

4. 4

   匯出前檢查空圖片、漏標、錯標與過鬆的框。

5. 5

   將 Rect annotations 匯出為 YOLO 格式 ZIP。

dataset/
├── images/
│   ├── train/
│   └── val/
├── labels/
│   ├── train/
│   └── val/
└── data.yaml

path: /absolute/path/to/dataset
train: images/train
val: images/val

names:
  0: Copper
  1: CopperDepleted
  2: Wood
  3: Monster

第一次可從 80% 訓練、20% 驗證開始。驗證集必須包含訓練時真正沒有看過的場景。

• 新增一批標註時，不需要把舊圖片重新上傳到 MakeSense.ai。
• 離線合併新舊圖片與標籤，再依類別名稱重新對應數字 ID，確保原類別順序不變。
• 使用完整的舊資料 + 新資料重新訓練。只用新圖片訓練，可能讓舊類別逐漸被視為背景。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install ultralytics==8.4.138 onnx==1.22.0 \
  onnxruntime==1.29.0 onnxslim==0.1.96

建議起始參數

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="dataset/data.yaml",
    imgsz=960,
    epochs=200,
    patience=40,
    batch=8,
    device="mps",  # NVIDIA: 0 · CPU: "cpu"
    workers=4,
    seed=42,
    close_mosaic=15,
)

• Precision：模型回報的目標中，有多少是真的。
• Recall：畫面中的真實目標，有多少被找到。
• mAP50 與 mAP50-95：在不同門檻下綜合衡量定位與分類品質。
• 混淆矩陣：哪些類別會互相認錯，或被判定為背景。

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    imgsz=960,
    batch=1,
    dynamic=False,
    simplify=True,
    nms=None,
)

封裝模型目錄

在萊彩模型庫中選擇的是整個目錄。目錄內必須同時有 config.json 與 modelFile 指定的 ONNX 檔；類別 ID 必須從 0 開始連續排列。

game-objects/
├── config.json
└── model.onnx

{
  "id": "game-objects-v1",
  "name": "Game Objects v1",
  "type": "yolo",
  "modelFile": "model.onnx",
  "outputFormat": "raw_yolo_no_objectness",
  "id2label": {
    "0": "Copper",
    "1": "CopperDepleted",
    "2": "Wood",
    "3": "Monster"
  },
  "label2id": {
    "Copper": 0,
    "CopperDepleted": 1,
    "Wood": 2,
    "Monster": 3
  }
}

• 在模型庫中選取模型，核對輸入、輸出、輸出格式與類別表。
• 使用「測試目前畫面」，選擇一個類別，並從 0.5 這類合理門檻開始測試。
• 既要測有目標的畫面，也要測沒有目標或容易混淆的畫面。推論呼叫成功，不代表一定偵測到物件。
• 若 Flow 最終要在手機上執行，桌面端驗證後，還要在 Android Agent 上另外驗證同一模型。