Huấn luyện một mô hình phát hiện đối tượng tùy chỉnh choLaiCai Flow

• Bao gồm các vị trí, kích thước, ánh sáng, nền, khung hoạt hình và che khuất một phần khác nhau.
• Giữ các ví dụ khó: các vật thể nhỏ, vật thể rìa, mờ, cửa sổ bật lên và các mục tiêu không tương tự về mặt trực quan.
• Thêm một số hình nền nơi không có lớp mục tiêu nào của bạn xuất hiện. Các tệp nhãn của chúng rỗng.
• Không có mức tối thiểu chung nào. Đối với bài kiểm tra đầu tiên, hãy đặt mục tiêu ít nhất 50 hộp khác nhau cho mỗi lớp; các lớp khó hoặc tương tự thường cần 100-200 hoặc nhiều hơn.

• Mỗi trường hợp hiển thị của mỗi lớp mục tiêu phải được gắn nhãn. Một mục tiêu không được gắn nhãn được học làm nền.
• Sử dụng chính sách hộp tương tự ở mọi nơi: chặt chẽ xung quanh đối tượng có thể nhìn thấy, không có khoảng trống lớn.
• Ưu tiên các tên như CopperDepleted hoặc copper_depleted khi công cụ dán nhãn thay đổi khoảng trắng.

1. 1

   Mở MakeSense.ai và tải lên các hình ảnh nguồn. Giữ thư mục hình ảnh gốc của bạn; nhãn ZIP đã xuất khẩu sẽ không thay thế nó.

2. 2

   Chọn Phát hiện đối tượng, không phải Nhận dạng hình ảnh. (Object Detection · Image Recognition)

3. 3

   Tạo danh sách lớp cuối cùng theo thứ tự cố định, sau đó vẽ một hình chữ nhật xung quanh mỗi đối tượng mục tiêu.

4. 4

   Xem xét lại các hình ảnh trống, các vật thể bị bỏ lỡ, các lớp sai và các hộp lỏng lẻo trước khi xuất.

5. 5

   Xuất chú thích Rect dưới dạng gói ZIP trongYOLOcấu trúc. (Rect annotations)

dataset/
├── images/
│   ├── train/
│   └── val/
├── labels/
│   ├── train/
│   └── val/
└── data.yaml

path: /absolute/path/to/dataset
train: images/train
val: images/val

names:
  0: Copper
  1: CopperDepleted
  2: Wood
  3: Monster

Một cách chia nhỏ thực tế là 80% là đào tạo và 20% là xác thực. Bộ xác thực phải chứa các cảnh chưa từng được xem trước.

• Đối với một lô chú thích mới, bạn không cần phải tải lại các hình ảnh cũ lên MakeSense.ai.
• Kết hợp các hình ảnh và nhãn mới ngoại tuyến, sau đó định lại ID lớp số bằng tên lớp để thứ tự ban đầu không bị thay đổi.
• Huấn luyện lại với tập dữ liệu cũ + mới đầy đủ. Việc chỉ huấn luyện trên các hình ảnh mới có thể khiến các lớp cũ hoạt động giống như nền.

python3 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install ultralytics==8.4.138 onnx==1.22.0 \
  onnxruntime==1.29.0 onnxslim==0.1.96

Các tham số khởi đầu được đề xuất

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.train(
    data="dataset/data.yaml",
    imgsz=960,
    epochs=200,
    patience=40,
    batch=8,
    device="mps",  # NVIDIA: 0 · CPU: "cpu"
    workers=4,
    seed=42,
    close_mosaic=15,
)

• Độ chính xác: có bao nhiêu lần phát hiện được báo cáo là chính xác.
• Nhớ lại: đã tìm thấy bao nhiêu vật thể thực tế.
• mAP50 và mAP50-95: chất lượng bản địa hóa và phân loại tổng thể trên các ngưỡng.
• Mô hình nhầm lẫn: các lớp nào bị nhầm lẫn với nhau hoặc với nền.

from ultralytics import YOLO

model = YOLO("runs/detect/train/weights/best.pt")
model.export(
    format="onnx",
    imgsz=960,
    batch=1,
    dynamic=False,
    simplify=True,
    nms=None,
)

Gói gói thư mục mô hình

Chọn thư mục chính trong thư mục Mô hình của LaiCai. Thư mục phải chứa config.json và tệp ONNX có tên bằng modelFile. Các ID lớp phải bắt đầu từ 0 và phải liên tiếp.

game-objects/
├── config.json
└── model.onnx

{
  "id": "game-objects-v1",
  "name": "Game Objects v1",
  "type": "yolo",
  "modelFile": "model.onnx",
  "outputFormat": "raw_yolo_no_objectness",
  "id2label": {
    "0": "Copper",
    "1": "CopperDepleted",
    "2": "Wood",
    "3": "Monster"
  },
  "label2id": {
    "Copper": 0,
    "CopperDepleted": 1,
    "Wood": 2,
    "Monster": 3
  }
}

• Chọn mô hình trong Thư viện mô hình và xác nhận đầu vào, đầu ra, định dạng đầu ra và danh sách lớp của nó.
• Sử dụng Trình kiểm tra Màn hình hiện tại với một lớp và ngưỡng bắt đầu hợp lý như 0,5.
• Kiểm tra cả khung tích cực và khung âm tính hoặc gây nhầm lẫn. Một cuộc gọi suy luận thành công không giống như một đối tượng được phát hiện.
• Sau khi xác thực trên máy tính để bàn, hãy thử mô hình tương tự riêng biệt trên Android Agent nếu Flow sẽ chạy trên điện thoại.