Компьютерное зрение в телефоне: оценка подъездов по фото и где ещё это применимо

Кейс для тех, у кого сотрудники уже снимают объекты телефоном - подъезды, товар при приёмке, технику, сделанную работу, - а потом эти снимки кто-то просматривает вручную. Ниже - как устроен путь снимка в реальном проекте и как проверить идею на своих фото.

Задача

Заказчик - министерство Московской области. По описанию в моём портфолио, нужен был инструмент для оценки реального состояния многоквартирных домов.

Своими словами я описываю проект так: «у меня это оценка подъездов их состояния». Оценка идёт с телефона, по фото.

Решение: обходчик снимает, модель оценивает

Работа в системе разделена так.

• Мобильное приложение. С ним работают обходчики: фотографируют подъезд, и снимок автоматически попадает в систему.
• Модель. Фото разбирает VLM - визуально-языковая модель, которая работает с изображением и текстом одновременно: по снимку и инструкции к нему она даёт ответ. Подъезд она оценивает по отдельным категориям, например входная группа, стены, почтовые ящики, освещение, и выявляет критические дефекты.
• Веб-дашборд. Фото и результаты анализа собираются в одном месте: их можно отфильтровать по адресам и выгрузить отчёт.

Что здесь значит «компьютерное зрение в телефоне»

Саму идею я формулирую так: «К телефону, приложению на телефоне подключить компьютерное зрение для анализа». В портфолио путь снимка расписан подробнее: фото из приложения обходчика само уходит в систему и в аналитический дашборд, а разбирает его VLM-система. Где работает модель (в самом телефоне, своём сервере или облаке) и как она называется, я не раскрываю ни в портфолио, ни здесь.

Практический вывод для вас: для такой схемы не нужно ставить камеру у каждого объекта. Снимок делает человек с телефоном, а разбирает его модель.

Результат: около 10 000 фото в час

Цифра кейса - о скорости обработки. Я формулирую её так: «возможность обработки 10 000 фото за час». Как измеряли эту скорость, в описании проекта нет.

Почему скорость здесь важна. Пока фото разбирает человек, поток снимков упирается в то, сколько он успевает просмотреть. Когда разбор берёт на себя модель, узкими местами становятся сама съёмка и реакция людей на найденные дефекты. Это общее рассуждение, замером из проекта оно не подкреплено.

Точность оценок в описании не приводится, а стоимость проекта в этом кейсе не публикуется.

Ограничения

• Скорость - моя цифра без методики. «10 000 фото за час» - возможность обработки, которую я называю. Методики замера в этом материале нет.
• Модель не раскрыта. Какая модель разбирает фото и где она работает, в этом кейсе не описываю, а данных о её проверке в этом материале нет.
• Снимок делает человек. Оценка зависит от кадра: её могут испортить темнота, блики, неудачный ракурс или часть подъезда вне кадра. Как это решено в проекте, в описании не сказано. Моя рекомендация для вашего проекта: прописать в приложении, что и как снимать.
• Модель может ошибаться. Рекомендация: дефект, по которому принимают решение, показывать человеку вместе с исходным фото. Как устроена такая проверка в проекте, не описано.
• Люди в кадре. В подъезде в кадр могут попасть жильцы и их вещи. До запуска согласуйте с юристом, какие снимки хранить, как долго и в какие сервисы их разрешено передавать.

Гипотезы: где ещё применимо

Компьютерное зрение в телефоне вместе с возможностью обрабатывать 10 000 фото за час, на мой взгляд, «открывает кучу возможностей». Сам я привожу два примера: брак на маркетплейсах при возвратах и поставках и быстрый скоринг. Приёмку работ по фото я добавил уже в этом материале, а идея со складом взята из моего поста в канале и здесь дополнена. Всё ниже - гипотезы, а не проекты с результатами. У каждой указано, что нужно проверить и при каком условии она может сработать.

Брак при возвратах и поставках на маркетплейсах

Гипотеза. Сотрудник склада или продавец фотографирует товар телефоном, когда принимает поставку или возврат. Модель отмечает видимые признаки брака: помятую или вскрытую упаковку, сколы, пятна, следы использования. Спорные случаи уходят человеку.

Что проверить. Какой брак вообще виден в кадре: скрытый дефект или неисправную электронику снимок не покажет. Сколько брака модель пропускает на ваших товарах и как часто зря поднимает тревогу. Хватает ли в зоне приёмки света и места для нормального снимка. Какие доказательства принимает ваша площадка в спорах о браке - это зависит от её правил.

Условие. Брак заметен глазом в кадре, и у вас есть фото с примерами брака, по которым можно сверить ответы модели.

Быстрый скоринг

Гипотеза. «Быстрый скоринг» я называю в общем виде, не уточняя, что именно оценивать. Один из вариантов, который можно проверить, - предварительная оценка состояния вещи по фото: техники при выкупе, автомобиля, оборудования перед арендой. Модель ставит предварительную оценку и перечисляет, что увидела в кадре, а окончательное решение принимает специалист.

Что проверить. Совпадает ли оценка модели с оценкой вашего эксперта по одним и тем же снимкам. Меняется ли она от ракурса и света. Можно ли получить лучшую оценку, просто удачно сняв вещь.

Условие. Оценка остаётся подсказкой специалисту. Если скоринг касается людей, например решения об аренде или займе для конкретного человека, учитывайте закон о персональных данных. Его статья 16 запрещает принимать решения, которые порождают юридические последствия для человека или иначе затрагивают его права и законные интересы, на основании исключительно автоматизированной обработки его персональных данных. Исключения - письменное согласие человека и случаи, предусмотренные федеральными законами, которые также устанавливают меры защиты его прав и законных интересов. Как выстроить такую схему, обсудите с юристом.

Приёмка работ по фото

Гипотеза, ближе всего к самому кейсу. Подрядчик после уборки, ремонта или монтажа снимает результат телефоном, а модель сверяет снимок с перечнем требований: убрано ли, закрашено ли, установлено ли оборудование. Приём тот же, что с подъездами, только оценивается не состояние объекта, а сделанная работа.

Что проверить. Можно ли по одному снимку отличить «сделано» от «не сделано» или нужен ещё снимок «до». Как отсечь старые фото и снимки чужого объекта: например, разрешить съёмку только из приложения и сохранять время и место снимка.

Условие. Требование к работе видно в кадре и заранее записано словами.

Склад и полка магазина

Гипотеза. Похожую идею я называл в посте №87: подсчёт остатков по фото склада. Кладовщик или торговый представитель снимает стеллаж или полку телефоном, модель считает товар и отмечает пустые места.

Что проверить. Различает ли модель похожие упаковки и товар, который стоит в несколько рядов. Совпадает ли её подсчёт с ручной инвентаризацией того же стеллажа.

Условие. Товар виден в кадре целиком, его не закрывает передний ряд.

Как проверить гипотезу на своих фото

Общий порядок, как проверить модель по собственным снимкам - эталонная ручная разметка, прогон, подсчёт пропусков и ложных тревог, работа параллельно с людьми - разобран в статье «Компьютерное зрение на реальном объекте». Для фото с телефона к нему стоит добавить своё. Это мои рекомендации, а не описание испытаний проекта с подъездами: данных о таких испытаниях в этом материале нет.

Частые вопросы