为莱彩 Flow 训练自定义目标检测模型

• 覆盖不同位置、大小、光照、背景、动画阶段和部分遮挡。
• 保留难例：很小的目标、画面边缘目标、模糊、弹窗，以及和目标很像的非目标。
• 加入一部分完全没有目标类别的背景图；这些图片对应的标签文件为空。
• 没有通用的最低数量。第一次试验可先保证每类至少有 50 个有差异的框；难分或相似类别通常需要 100–200 个甚至更多。

• 图片中所有目标类别的每一个可见实例都必须标注；漏标的目标会被当成背景学习。
• 所有图片采用同一套画框规则：紧贴可见物体，不要留下大片空白。
• 如果标注工具会处理空格，优先使用 CopperDepleted 或 copper_depleted 这类名称。

1. 1

   打开 MakeSense.ai 并上传原始图片。原图文件夹要自己保留；导出的标签 ZIP 不能替代原图。

2. 2

   选择 Object Detection，不要选择 Image Recognition。

3. 3

   按固定顺序建立最终类别表，然后给每一个目标实例画矩形框。

4. 4

   导出前检查空图片、漏标、错标和过松的框。

5. 5

   把 Rect annotations 导出为 YOLO 格式的 ZIP 包。

dataset/
├── images/
│   ├── train/
│   └── val/
├── labels/
│   ├── train/
│   └── val/
└── data.yaml

path: /absolute/path/to/dataset
train: images/train
val: images/val

names:
  0: Copper
  1: CopperDepleted
  2: Wood
  3: Monster

第一次可以从 80% 训练、20% 验证开始。验证集必须包含训练时真正没有见过的场景。

• 新增一批标注时，不需要把旧图片重新上传到 MakeSense.ai。
• 离线合并新旧图片和标签，再按类别名称重映射数字 ID，保证原来的类别顺序不变。
• 使用完整的旧数据 + 新数据重新训练。只用新图片训练，可能会让旧类别逐渐被当成背景。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install ultralytics==8.4.138 onnx==1.22.0 \
  onnxruntime==1.29.0 onnxslim==0.1.96

建议的起步参数

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="dataset/data.yaml",
    imgsz=960,
    epochs=200,
    patience=40,
    batch=8,
    device="mps",  # NVIDIA: 0 · CPU: "cpu"
    workers=4,
    seed=42,
    close_mosaic=15,
)

• Precision：模型报出的目标中，有多少是真的。
• Recall：画面中的真实目标，有多少被找到。
• mAP50 和 mAP50-95：在不同阈值下综合衡量定位和分类质量。
• 混淆矩阵：哪些类别会互相认错，或被认成背景。

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    imgsz=960,
    batch=1,
    dynamic=False,
    simplify=True,
    nms=None,
)

打包模型目录

在莱彩模型库中选择的是整个目录。目录内必须同时有 config.json 和 modelFile 指定的 ONNX 文件；类别 ID 必须从 0 开始连续排列。

game-objects/
├── config.json
└── model.onnx

{
  "id": "game-objects-v1",
  "name": "Game Objects v1",
  "type": "yolo",
  "modelFile": "model.onnx",
  "outputFormat": "raw_yolo_no_objectness",
  "id2label": {
    "0": "Copper",
    "1": "CopperDepleted",
    "2": "Wood",
    "3": "Monster"
  },
  "label2id": {
    "Copper": 0,
    "CopperDepleted": 1,
    "Wood": 2,
    "Monster": 3
  }
}

• 在模型库中选中模型，核对输入、输出、输出格式和类别表。
• 使用“测试当前画面”，选择一个类别，并从 0.5 这类合理阈值开始测试。
• 既要测有目标的画面，也要测没有目标或容易混淆的画面。推理调用成功，不等于一定检测到了物体。
• 如果 Flow 最终要在手机上运行，桌面端验证后，还要在 Android Agent 上单独验证同一模型。