Обучите пользовательскую модель обнаружения объектов дляLaiCai Flow

• Включают различные положения, размеры, освещение, фоны, анимационные кадры и частичную окклюзию.
• Держите сложные примеры: крошечные объекты, краевые объекты, размытые, всплывающие окна и визуально похожие нецели.
• Добавьте некоторые фоновые изображения, где не отображается ни один из ваших целевых классов. Файлы с этикетками пусты.
• Не существует универсального минимума. Для первого теста нужно иметь не менее 50 различных коробок на класс; для сложных или похожих классов обычно требуется 100-200 или более.

• Каждый видимый экземпляр каждого целевого класса должен быть помечен. Немаркированная цель изучается как фон.
• Используйте одну и ту же политику коробки везде: плотно вокруг видимого объекта, без больших полей.
• Предпочитают названия, такие как CopperDepleted или copper depleted, когда инструмент маркировки меняет места.

1. 1

   Откройте MakeSense.ai и загрузите исходные изображения. Храните оригинальную папку с изображением; экспортируемая этикетка ZIP не заменяет ее.

2. 2

   Выберите обнаружение объектов, а не распознавание изображений. (Object Detection · Image Recognition)

3. 3

   Создайте окончательный список классов в фиксированном порядке, затем нарисуйте прямоугольник вокруг каждого целевого экземпляра.

4. 4

   Просмотрите пустые изображения, пропущенные объекты, неправильные классы и свободные коробки перед экспортом.

5. 5

   Экспортные аннотации как пакет ZIPYOLOФормат. (Rect annotations)

dataset/
├── images/
│   ├── train/
│   └── val/
├── labels/
│   ├── train/
│   └── val/
└── data.yaml

path: /absolute/path/to/dataset
train: images/train
val: images/val

names:
  0: Copper
  1: CopperDepleted
  2: Wood
  3: Monster

Практический стартовый сплит составляет 80% поезда и 20% проверки. Набор валидации должен содержать действительно невидимые сцены.

• Для новой аннотации вам не нужно загружать старые изображения на MakeSense.ai снова.
• Объедините новые изображения и ярлыки в автономном режиме, а затем переназначьте идентификаторы числового класса по названию класса, чтобы первоначальный порядок оставался неизменным.
• Переобучение с полным старым + новым набором данных. Обучение только новым изображениям может заставить старые классы вести себя как фон.

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install ultralytics==8.4.138 onnx==1.22.0 \
  onnxruntime==1.29.0 onnxslim==0.1.96

Рекомендуемые начальные параметры

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="dataset/data.yaml",
    imgsz=960,
    epochs=200,
    patience=40,
    batch=8,
    device="mps",  # NVIDIA: 0 · CPU: "cpu"
    workers=4,
    seed=42,
    close_mosaic=15,
)

• Точность: сколько зарегистрированных обнаружений верны.
• Напомним: сколько реальных объектов было найдено.
• mAP50 и mAP50-95: общая локализация и качество классификации через пороговые значения.
• Матрица путаницы: какие классы ошибочно принимают друг за друга или за фон.

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    imgsz=960,
    batch=1,
    dynamic=False,
    simplify=True,
    nms=None,
)

Пакет каталога моделей

Выберите сам каталог в библиотеке моделей LaiCai. Каталог должен содержать config.json и файл ONNX по имени modelFile. Идентификаторы класса должны начинаться с 0 и оставаться смежными.

game-objects/
├── config.json
└── model.onnx

{
  "id": "game-objects-v1",
  "name": "Game Objects v1",
  "type": "yolo",
  "modelFile": "model.onnx",
  "outputFormat": "raw_yolo_no_objectness",
  "id2label": {
    "0": "Copper",
    "1": "CopperDepleted",
    "2": "Wood",
    "3": "Monster"
  },
  "label2id": {
    "Copper": 0,
    "CopperDepleted": 1,
    "Wood": 2,
    "Monster": 3
  }
}

• Выберите модель в библиотеке моделей и подтвердите ее ввод, вывод, формат вывода и список классов.
• Используйте текущий экран с классом и разумным начальным порогом, таким как 0,5.
• Тестируйте как положительные кадры, так и отрицательные или запутанные кадры. Успешный вывод не то же самое, что обнаруженный объект.
• После проверки на рабочем столе тестируйте одну и ту же модель отдельно на Android Agent, если Flow будет работать на телефоне.