Formare un modello di rilevamento oggetti personalizzato perLaiCai Flow

• Include diverse posizioni, dimensioni, illuminazione, sfondi, cornici di animazione e occlusione parziale.
• Tenere esempi difficili: piccoli oggetti, oggetti di bordo, sfocatura, popup e visivamente simili non-target.
• Aggiungi alcune immagini di sfondo dove non compaiono nessuna delle tue classi di destinazione. I loro file di etichette sono vuoti.
• Non esiste un minimo universale. Per un primo test, mira ad almeno 50 scatole varie per classe; classi difficili o simili di solito hanno bisogno di 100-200 o più.

• Ogni istanza visibile di ogni classe target deve essere etichettata. Un bersaglio non etichettato viene imparato come sfondo.
• Utilizzare la stessa politica box ovunque: stretto intorno all'oggetto visibile, senza grandi margini.
• Preferire nomi come CopperDepleted o rame depleted quando uno strumento di etichettatura cambia spazi.

1. 1

   Apri MakeSense.ai e carica le immagini sorgente. Mantenere la cartella di immagine originale; l'etichetta esportata ZIP non lo sostituisce.

2. 2

   Scegliere Detezione oggetti, non Riconoscimento immagine. (Object Detection · Image Recognition)

3. 3

   Creare l'elenco di classe finale in un ordine fisso, quindi disegnare un rettangolo intorno ad ogni istanza di destinazione.

4. 4

   Rivedere immagini vuote, oggetti mancati, classi sbagliate e scatole sciolte prima di esportare.

5. 5

   Export Rect annotazioni come pacchetto ZIP inYOLOformato. (Rect annotations)

dataset/
├── images/
│   ├── train/
│   └── val/
├── labels/
│   ├── train/
│   └── val/
└── data.yaml

path: /absolute/path/to/dataset
train: images/train
val: images/val

names:
  0: Copper
  1: CopperDepleted
  2: Wood
  3: Monster

Una pratica divisione di partenza è 80% treno e 20% di validazione. Il set di validazione deve contenere scene veramente invisibili.

• Per un nuovo lotto di annotazione, non è necessario caricare le vecchie immagini per MakeSense.ai di nuovo.
• Unire le nuove immagini e le etichette offline, quindi rimappare gli ID numerici di classe per nome di classe in modo che l'ordine originale rimanga invariato.
• Ripercorrere con il completo vecchio + nuovo dataset. La formazione solo sulle nuove immagini può rendere le vecchie classi si comportano come sfondo.

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install ultralytics==8.4.138 onnx==1.22.0 \
  onnxruntime==1.29.0 onnxslim==0.1.96

Parametri di partenza consigliati

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="dataset/data.yaml",
    imgsz=960,
    epochs=200,
    patience=40,
    batch=8,
    device="mps",  # NVIDIA: 0 · CPU: "cpu"
    workers=4,
    seed=42,
    close_mosaic=15,
)

• Precisione: quanti rilevamenti sono corretti.
• Richiamo: quanti oggetti reali sono stati trovati.
• mAP50 e mAP50-95: localizzazione generale e qualità di classificazione attraverso le soglie.
• Matrice di confusione: quali classi si scambiano tra loro o per background.

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    imgsz=960,
    batch=1,
    dynamic=False,
    simplify=True,
    nms=None,
)

Pacchetto della directory del modello

Selezionare la directory stessa nella libreria Model di LaiCai. La directory deve contenere config.json e il file ONNX chiamato da modelFile. Gli ID di classe devono iniziare a 0 e rimanere contigui.

game-objects/
├── config.json
└── model.onnx

{
  "id": "game-objects-v1",
  "name": "Game Objects v1",
  "type": "yolo",
  "modelFile": "model.onnx",
  "outputFormat": "raw_yolo_no_objectness",
  "id2label": {
    "0": "Copper",
    "1": "CopperDepleted",
    "2": "Wood",
    "3": "Monster"
  },
  "label2id": {
    "Copper": 0,
    "CopperDepleted": 1,
    "Wood": 2,
    "Monster": 3
  }
}

• Selezionare il modello nella libreria Model e confermare il suo ingresso, uscita, formato di output e elenco di classe.
• Utilizzare la schermata corrente di prova con una classe e una soglia di partenza ragionevole come 0.5.
• Testare sia frame positivi che frame negativi o confusi. Una chiamata di inferenza di successo non è la stessa di un oggetto rilevato.
• Dopo la convalida del desktop, testare lo stesso modello separatamente su Android Agent se il Flow verrà eseguito sul telefono.