カスタムオブジェクト検出モデルを訓練するLaiCai Flow

• 異なる位置、サイズ、照明、背景、アニメーションフレーム、および部分的な遮蔽を含める。
• 難しい例を保持します。小さなオブジェクト、エッジオブジェクト、ぼやけ、ポップアップ、および視覚的に似た非ターゲットです。
• ターゲットクラスが表示されない背景画像を追加します。そのラベルファイルは空です。
• 普遍的な最低値はありません。最初のテストでは、クラスごとに少なくとも50個のさまざまなボックスを目指してください。難しいクラスや類似のクラスは通常、100〜200個以上が必要です。

• すべてのターゲットクラスのすべての可視インスタンスはラベル付けする必要があります。ラベル付けされていないターゲットは背景として学習されます。
• すべての場所で同じボックスポリシーを使用してください。目に見えるオブジェクトの周りはタイトにし、大きな余白を残さないでください。
• ラベル付けツールでスペースを変更する場合は、CopperDepleted や copper_depleted などの名前を使用することをお勧めします。

1. 1

   MakeSense.aiを開き、ソース画像をアップロードします。元の画像フォルダを残しておいてください。エクスポートされたラベルZIPはそれを置き換えるものではありません。

2. 2

   画像認識ではなく、オブジェクト検出を選択してください。 (Object Detection · Image Recognition)

3. 3

   固定された順序で最終クラスのリストを作成し、各ターゲットインスタンスの周りに長方形を描画します。

4. 4

   エクスポートする前に、空の画像、見逃したオブジェクト、間違ったクラス、そして緩いボックスを確認してください。

5. 5

   Rect 注釈を ZIP パッケージとしてエクスポートするYOLOフォーマット。 (Rect annotations)

dataset/
├── images/
│   ├── train/
│   └── val/
├── labels/
│   ├── train/
│   └── val/
└── data.yaml

path: /absolute/path/to/dataset
train: images/train
val: images/val

names:
  0: Copper
  1: CopperDepleted
  2: Wood
  3: Monster

実用的で最初の分割率は80%のトレーニングと20%の検証です。検証セットには、実際に見たことのないシーンが含まれている必要があります。

• 新しい注釈バッチの場合、古い画像をMakeSense.aiに再度アップロードする必要はありません。
• 新しい画像とラベルをオフラインで統合し、元の順序が変更されないように、クラス名で数値クラスIDを再マッピングします。
• 完全な古い+新しいデータセットで再トレーニングします。新しい画像のみをトレーニングすると、古いクラスは背景のように振る舞う可能性があります。

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install ultralytics==8.4.138 onnx==1.22.0 \
  onnxruntime==1.29.0 onnxslim==0.1.96

推奨される開始パラメータ

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="dataset/data.yaml",
    imgsz=960,
    epochs=200,
    patience=40,
    batch=8,
    device="mps",  # NVIDIA: 0 · CPU: "cpu"
    workers=4,
    seed=42,
    close_mosaic=15,
)

• 精度：報告された検出のうち、正しい検出の数。
• 復習：実際に何個のオブジェクトが見つかったか。
• mAP50とmAP50-95：閾値全体でのローカリゼーションと分類の品質。
• 混同行列：どのクラスが互いに誤解されているか、または背景と誤解されているか。

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    imgsz=960,
    batch=1,
    dynamic=False,
    simplify=True,
    nms=None,
)

モデルディレクトリをパッケージ化する

LaiCaiのモデルライブラリのディレクトリ自体を選択します。ディレクトリには、config.jsonとmodelFileで名前付けられたONNXファイルが含まれている必要があります。クラスIDは0から始まり、連続している必要があります。

game-objects/
├── config.json
└── model.onnx

{
  "id": "game-objects-v1",
  "name": "Game Objects v1",
  "type": "yolo",
  "modelFile": "model.onnx",
  "outputFormat": "raw_yolo_no_objectness",
  "id2label": {
    "0": "Copper",
    "1": "CopperDepleted",
    "2": "Wood",
    "3": "Monster"
  },
  "label2id": {
    "Copper": 0,
    "CopperDepleted": 1,
    "Wood": 2,
    "Monster": 3
  }
}

• モデルライブラリのモデルを選択し、入力、出力、出力形式、クラスリストを確認します。
• クラスと、0.5 などの合理的な開始しきい値を使用して、テスト現在の画面を使用します。
• 陽性フレームと否定的なフレーム、または混乱するフレームの両方をテストします。 成功した推論呼び出しは、検出されたオブジェクトとは異なります。
• デスクトップの検証後、Flowが携帯電話で実行される場合は、同じモデルをAndroid Agentで別々にテストします。