Исследование → решение команды · 13 октября 2026
Предлагаем продолжить с DINOv3 и небольшим локальным классификатором. Следующий бюджет — на новые витрины, человеческую разметку и измеримую пользу в работе.
Рекомендация для обсуждения. Направление продукта и новые запуски этим отчетом не утверждаются.
Мы уже умеем показывать проверяемую подсказку на фото. Следующий этап должен доказать перенос на новые сцены и экономию времени человека.
Замороженная модель строит карту визуальных признаков. Маленький обученный классификатор ищет признаки свободного крепления.
36 из 40 известных пустых местНа 12 фото с перечисленными позициями; 1 учитываемое ложное срабатывание. Разметка — черновик ИИ.
Все 29 архивных фото уже встречались в исследованиях. Нужен закрытый проверочный набор с разделением по физическим витринам.
Как пройдет проверка ↗Замеряем полный осмотр: фото → подсказки → подтверждение → действие. Скорость модели сама по себе не равна экономии времени.
Как считать пользу ↗Тонкий прозрачный держатель, блик и часть соседней подставки выглядят похоже. Именно здесь общий «разумный ответ» часто уступает точной локализации.
Найтикаждую нужную функциональную позицию
Различитьсвободное крепление, изделие и неоднозначность
Проверитьпоказать человеку конкретную область и сохранить решение
Отсутствие подсказок не означает «витрина в порядке». Подсчет всех изделий, соответствие планограмме и автоматические поручения не доказаны этими опытами.
Группируем по устройству системы, а не по бренду модели. Detector + embeddings — локальный классификатор, даже если в названии есть Gemma.
Luna, Haiku, Gemma, Qwen и Moondream в разных постановках. VLM получает целое фото или его фрагменты и должна сама найти нужные позиции.
Haiku broad11: 11 фотографий, 10 успешных завершений и 1 техническая ошибка. На трех фото со старыми 7 известными пустыми местами — ни одной подсказки «пусто».
Не выбирать основным массовым поиском по текущим данным. Оставить для помощи разметчику и объяснения сложного случая, если отдельная проверка покажет пользу.
Отдельный тест с уже указанными областями: Haiku 1/7 пустых, Luna 3/7, без ложных «пусто» на размеченных занятых. Он измеряет классификацию заданных целей, а не поиск на фото.
DINOv3 + Qwen: 36/40 найдено, как без Qwen, но ложных срабатываний 3 вместо 1. Gemma probe + Gemma 4 12B: 32/40 вместо 26/40, ложных 2 вместо 0.
Это две разные истории: один проверяющий добавил только ошибки на complete12; другой увеличил охват с ростом ошибок.
Встроить VLM во все проверки сейчас невыгодно по доказанной полезности. Выборочный вызов — гипотеза: нужна честная проверка, что маршрутизация находит сложные случаи.
Пропущенную на первом этапе позицию второй этап обычно не увидит. Измеряем поиск и итоговую классификацию отдельно.
На общем наборе из 15 фото: контроль YOLO26n 7/41, LibreYOLO9s 14/41. Учитываемых ложных срабатываний 0 у обоих; у Libre еще 2 точки в исключенных областях.
RF-DETR Small не дошел до оценки качества: первая попытка обучения завершилась нехваткой памяти.
Сохранить детектор как альтернативу для большой нагрузки. Libre — доступный быстрый ориентир. RF-DETR — один ограниченный технический опыт после отдельного допуска.
У Libre и контроля отличаются режим обучения, разрешение и калибровка уверенности. Рост 7 → 14 не доказывает чистое преимущество архитектуры.
DINOv3 dense probe: 36/40, 1 учитываемая ошибка и 3,25 с на фото в сохраненном измерении после загрузки модели. По всему архиву — 62/87.
YOLO26n + Gemma embeddings тоже относится сюда: вторая модель выдает признаки для локального классификатора, а не генерирует VLM-ответ.
Лучший баланс наблюдаемой полезности и времени в текущей серии. Сохранить рецепт и проверить перенос; не тратить следующий цикл на подбор десятков новых имен.
DINOv3 использует специальную лицензию Meta. Это не запрет коммерческого применения, но условия передачи и использования нужно учесть до доставки заказчику.
SAM 3 — возможный инструмент разметки/локализации, а не готовое правило «пустой держатель». SAM-LAD, ComAD, PSAD, CSAD, PatchCore и сравнение с эталоном вынесены в исторический реестр: для них важны нормальные примеры, соответствие сцен и дополнительные предпосылки. Некоторые выполнялись лишь частично, некоторые не запускались. Их нельзя объявить проигравшими в общем рейтинге.
Переключайте наборы. В каждой строке видны найденные пустые места, учитываемые ошибки и дополнительные точки, которые нельзя спрятать за «0 ложных».
| Метод | Найдено пустых | Ложные | Другие точки | Время / фото* |
|---|
Ложные: «пусто» на занятой позиции + неразмеченная точка на фото с перечисленными позициями.
Другие точки: исключенные и спорные области, неразмеченные части, неизвестные метки и дубли. Это отдельные ограничения, не доказанные верные ответы.
Разметка всех 29 фото создана ИИ и не подтверждена людьми: 2 623 позиции, 87 пустых, 2 522 занятых и 14 неизвестных. У 12 фото позиции перечислены с исключениями; у 17 разметка частичная. Даже набор из 12 фото содержит пустые места только на шести фотографиях.
Метрика засчитывает попадание точки с допуском; это не mAP и не проверка каждой границы рамки. Известные связанные сцены группировались, но весь архив уже был знаком исследованиям. Доверительные интервалы по независимым новым витринам еще не получены.
* Время — из локальных лабораторных измерений/оценок с разными границами учета. DINO 3,25 с — сохраненное среднее после загрузки; YOLO/Libre — теплый запуск; составные схемы — приблизительно. Это не задержка готового сервиса и не замер на NVIDIA. Не выводим из таблицы кратное преимущество по скорости.
Ансамбль 38/40 появился после просмотра теста. Его можно исследовать, но нельзя использовать как независимое подтверждение качества. Архивный all29 для YOLO + Gemma частично использовался при выборе варианта.
На complete12 DINOv3 + Qwen оставляет 36 находок и меняет 1 ошибку на 3. Разумный следующий расход — проверить уже лучший простой вариант на новых сценах.
29 реальных фото. Точки — сохраненные ответы DINOv3, без новых запросов к модели. Выберите фото, затем точку, чтобы приблизить область.
Два разных класса проблем требуют разных действий: научить находить маленькую позицию и согласовать, что считать нарушением.
Четыре пропуска на P04 и P15. Для двух мест не было кандидата; еще два остались ниже порога. Повторный вопрос VLM не исправит пропуск автоматически.
В следующую разметку включить независимые крепления на одной подставке, мелкие детали и перекрытия. Проверять полный кадр.
Спорная точка P18 учитывается как ошибка. Визуальный факт и бизнес-правило различаются: товар рядом может означать «поправить выкладку», а не «пополнить».
До проверки согласовать три действия: пополнить, поправить, уточнить. Человек решает неоднозначность.
Независимый разбор сопоставил сохраненные журналы, установленную версию 1.11.2 и официальную документацию. Нулевой результат в техническом отчете не является нулевой полнотой распознавания.
Старт640 px · microbatch 2 · накопление 2
Переменное разрешение: 11 размеров от 480 до 800
66,1 сНехватка памяти Metal во время обратного прохода
Остановка0 завершенных эпох · нет checkpoint
Качество и скорость распознавания не измерены
Граница конкретной попытки
7,48 GiB выделено MPS + 1,96 GiB других выделений. Дополнительные 72 MiB не поместились. Это отдельный лимит GPU-памяти, не первоначальный потолок RSS процесса 12 GiB.
Сохранить RF-DETR Small и 640 px. Уменьшить microbatch до 1, накопление увеличить до 4, выключить multi-scale, включить gradient checkpointing. Сохранить защитный лимит памяти. Перед обучением проверить полный цикл обучения и валидации на реальных данных в рамках нового допуска.
Ожидаемое снижение памяти — гипотеза, а не доказанный результат. Удержание выделенной памяти на разных размерах могло способствовать сбою; сам журнал доказывает только достижение лимита. Убирать защиту памяти как способ «починить» запуск не предлагаем.
В чате заявлены Ubuntu 24.04 / 64 GB RAM и Windows с NVIDIA («4090ti»). Точная модель GPU, VRAM и доступ не проверены. Поэтому бюджет использует уже имеющееся оборудование, но не обещает его скорость и не предполагает автоматическую установку или удаленный запуск.
Из чата «Разбор YOLO и Ultralytics» берем полезные варианты, но не превращаем смену платформы в обязательный проект.
| Инструмент | Роль | Решение сейчас |
|---|---|---|
| X-AnyLabeling | Локальная разметка и просмотр моделей. Графическое обучение документировано для Ultralytics. | Кандидат для разметчика; RF-DETR обучать отдельно. Не считать наличие модели в каталоге готовым обучением. |
| FiftyOne | Исследование датасета, сравнение предсказаний, разбор ошибок. | Подключать, когда текущий просмотр мешает разбору данных. В пилоте достаточно сохраненного реестра и фото. |
| Geti / Roboflow Workflows | Управление модельным циклом / сборка цепочек обработки. | Отложить выбор платформы до измерения простой цепочки. Условия self-hosting и отдельных моделей проверяются отдельно. |
| Текущий Go-продукт | Очередь фото, история, доказательства, исправления человека. | Сохранить интерфейс и заменить исполнителя только после принятой проверки. Не переписывать продукт вокруг библиотеки. |
RF-DETR Small: Apache-2.0. LibreYOLO9s: MIT у конкретных весов. DINOv3: специальные условия Meta, в том числе передачи и допустимого использования. Ultralytics: AGPL-3.0 / Enterprise. Экспорт в ONNX сам по себе условия не меняет. Проверка цепочки зависимостей и способа поставки — часть этапа, не утверждение юридической готовности.
Сохраненный демонстрационный просмотр покрывает все 29 фото. Доказана доступность результатов, истории и исправлений; распознавание остается отдельной задачей.
Это отдельный сохраненный Luna-процесс, не работающий DINO-продукт. Число 50 не сравнивается с 62 подтвержденными по черновым меткам находками DINO. У 9 областей нет окончательного решения.
Первый продаваемый результат продолжения: помощник показывает вероятную проблему и ее место, человек принимает решение, команда видит пропуски и стоимость проверки. Автоматическое заключение «все хорошо» пока не входит в обещание.
Предлагаемый план — для решения команды. Новые обучения и запуски не выполнялись при подготовке отчета.
Ориентир: 48 новых фото, 8 физических витрин. Разделить по сценам: 24 фото для разработки, 24 для закрытой проверки. Проверить разметку людьми, разрешить спорные крепления и упавшие изделия.
DINOv3 probe — основной, LibreYOLO9s — быстрый контроль. Старый архив используется только для разработки. Пороги фиксируются до открытия новых проверочных ответов. RF-DETR — отдельная опция после проверки памяти, без бесконечного подбора.
Подсказки в существующем просмотре, видимые неуспехи, сохранение человеческих исправлений. Сравнить длительность ручного и ассистированного осмотра в сбалансированном порядке.
Проверить лицензии, воспроизводимость, расходы и распределение ошибок по витринам. При провале — остановка и конкретный разбор причины; нового модельного марафона в этом бюджете нет.
≥85% найденных пустых позиций на новом закрытом наборе
≥95% подтвержденных подсказок среди проверенных
≤0,1 занятой позиции, ошибочно отмеченной пустой, на фото
≥30% сокращение медианного времени полного осмотра
Дополнительно: ≤5% технически неуспешных фото, видимые отказы и неопределенность. Целевой проверочный набор — ≥100 пустых и ≥1 000 занятых позиций; если их недостаточно или бюджет исчерпан, вывод «данных недостаточно». Отчет по каждой витрине и интервалам неопределенности обязателен. Эти числа предложены для обсуждения, не достигнуты и не согласованы. Даже прохождение означает допуск к ограниченному пилоту, а не массовое внедрение.
Смета труда на один этап. Значения ниже — открытые плановые допущения, не коммерческое предложение и не уже понесенные расходы.
Один этап, без покупки GPU, платной платформы, лицензии Enterprise и массового запуска. Если они понадобятся — отдельное решение. Резерв ограничивает расход; он не разрешает автоматически новые опыты.
Результаты экспериментов пока не доказывают рост продаж или экономию фонда оплаты труда. Ниже — сценарий ценности освобожденного времени; все входы нужно измерить на пилоте.
Формула: фото × (ручной осмотр − осмотр с помощником) / 3 600 × цена часа − ежемесячные расходы. Стоимость времени — не денежная прибыль. Повторные проверки и поиск пропусков должны входить в замер; отрицательный результат не скрывается.
Сохраненный запуск all29 использовал 275 удаленных и 15 локальных новых вызовов, оценка API по usage — $0,21865425, 793,470 с работы серии. Часть старых успешных результатов переиспользована; это не цена полного нового анализа 29 фото. Invoice, полная стоимость локальных вычислений и работы команды неизвестны.
Локальная модель убирает обязательный API-вызов на каждую позицию, но не делает обработку бесплатной. Нужны замеры загрузки GPU, обслуживания, проверки человеком и цены ошибочного решения. Доля выборочных VLM-вызовов еще не установлена.
Старый реестр E01–E34: 25 диагностических выполнений, 1 технический неуспех, 1 остановка владельцем, 7 без полного запуска. Это не 34 принятые модели.
| ID | Метод | Фактический статус | Пустые на заданных областях | Ложные «пусто» |
|---|
Реестр — снимок 7 октября, не последняя оценка текущих весов. Заданные области, частичные локализации, разные наборы и невыполненные предпосылки не образуют честного общего рейтинга. Старый E32 не заменяет неудавшийся новый RF-DETR Small; E01 не равен более позднему dense DINOv3.
История экспериментов неполна как единый стандартизированный benchmark. Этот отчет сохраняет группы и проверенные конечные статусы; не суммирует вложенные варианты и повторно используемые вызовы в выдуманное общее число опытов.
Решение для нашей команды
Основной путьDINOv3 + малый классификатор + человек в контуре.
СтраховкаLibreYOLO9s как быстрый контроль; RF-DETR — ограниченная опция.
Следующий рубежНовые витрины, человеческая разметка, измеренное время осмотра.
После решения команды: назначить владельца данных и зафиксировать бюджет, протокол и допуск на новые запуски. Текущий отчет ничего не обучает и не меняет работающий демонстрационный просмотр.
Вернуться к смете ↑Срез на 13 октября 2026. Основные числа перенесены из независимо пересчитанного аудита: 135 проверок, 102 зафиксированных файла. Подготовка презентации не использовала новые модельные запуски.
Локальные пути исходных рабочих журналов не публикуются. В данных приведены имена источников и SHA-256; приватный отчет предназначен для владельца.