Treine um modelo personalizado de detecção de objetos para o LaiCai Flow

• Inclua diferentes posições, tamanhos, iluminação, fundos, quadros de animação e oclusão parcial.
• Mantenha exemplos difíceis: pequenos objetos, objetos de borda, desfoque, popups e não alvos visualmente semelhantes.
• Adicionar algumas imagens de fundo onde nenhuma das suas classes alvo aparecer. Seus arquivos de etiqueta estão vazios.
• Não há um mínimo universal. Para um primeiro teste, procure pelo menos 50 caixas variadas por classe; classes difíceis ou semelhantes geralmente precisam de 100–200 ou mais.

• Cada instância visível de cada classe alvo deve ser rotulada. Um alvo não marcado é aprendido como fundo.
• Use a mesma política de caixa em todos os lugares: apertado em torno do objeto visível, sem grandes margens.
• Preferir nomes como CopperDepleted ou copper depleted quando uma ferramenta de rotulagem muda de espaços.

1. 1

   Abra MakeSense.ai e faça upload das imagens de origem. Mantenha sua pasta de imagem original; a etiqueta exportada ZIP não a substitui.

2. 2

   Escolha a Detecção de Objectos, não o Reconhecimento de Imagens. (Object Detection · Image Recognition)

3. 3

   Crie a lista de classes final em uma ordem fixa, em seguida, desenhe um retângulo em torno de cada instância alvo.

4. 4

   Reveja imagens vazias, objetos perdidos, classes erradas e caixas soltas antes de exportar.

5. 5

   Exportar anotações Rect como um pacote ZIPYOLOformato. (Rect annotations)

dataset/
├── images/
│   ├── train/
│   └── val/
├── labels/
│   ├── train/
│   └── val/
└── data.yaml

path: /absolute/path/to/dataset
train: images/train
val: images/val

names:
  0: Copper
  1: CopperDepleted
  2: Wood
  3: Monster

Uma divisão de partida prática é 80% trem e 20% validação. O conjunto de validação deve conter cenas genuinamente invisíveis.

• Para um novo lote de anotação, você não precisa carregar as imagens antigas para MakeSense.ai novamente.
• Mesclar as novas imagens e rótulos offline, em seguida, remape IDs de classe numérica pelo nome da classe para que a ordem original permaneça inalterada.
• Retreine com o conjunto de dados antigo completo + novo. O treinamento apenas nas novas imagens pode fazer com que as classes antigas se comportem como fundo.

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install ultralytics==8.4.138 onnx==1.22.0 \
  onnxruntime==1.29.0 onnxslim==0.1.96

Parâmetros de partida recomendados

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="dataset/data.yaml",
    imgsz=960,
    epochs=200,
    patience=40,
    batch=8,
    device="mps",  # NVIDIA: 0 · CPU: "cpu"
    workers=4,
    seed=42,
    close_mosaic=15,
)

• Precisão: quantas detecções relatadas estão corretas.
• Lembre-se: quantos objetos reais foram encontrados.
• mAP50 e mAP50-95: localização global e qualidade de classificação entre limiares.
• Matriz de confusão: quais classes são confundidas entre si ou para fundo.

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    imgsz=960,
    batch=1,
    dynamic=False,
    simplify=True,
    nms=None,
)

Empacotar o diretório do modelo

Selecione o diretório em si na biblioteca Modelo de LaiCai. O diretório deve conter config.json e o arquivo ONNX nomeado pelo modelFile. Os IDs da classe devem começar em 0 e permanecer contíguos.

game-objects/
├── config.json
└── model.onnx

{
  "id": "game-objects-v1",
  "name": "Game Objects v1",
  "type": "yolo",
  "modelFile": "model.onnx",
  "outputFormat": "raw_yolo_no_objectness",
  "id2label": {
    "0": "Copper",
    "1": "CopperDepleted",
    "2": "Wood",
    "3": "Monster"
  },
  "label2id": {
    "Copper": 0,
    "CopperDepleted": 1,
    "Wood": 2,
    "Monster": 3
  }
}

• Selecione o modelo na biblioteca Model e confirme sua entrada, saída, formato de saída e lista de classes.
• Usar tela de teste atual com uma classe e um limiar de início razoável, como 0.5.
• Teste ambos os quadros positivos e negativos ou confusos. Uma chamada de inferência bem sucedida não é a mesma que um objeto detectado.
• Após a validação do desktop, teste o mesmo modelo separadamente no Android Agent se o Flow for executado no telefone.