Нейросеть смотрит в холодильник: как по фото продуктов выбрать блюдо и прикинуть КБЖУ

Если хотите попробовать прямо сейчас, хватит готового чата и шаблона запроса из раздела «Как получить ответ в готовом чате». Если думаете о собственном помощнике, для себя или для клиентов, ниже есть пример моего бота-нутрициолога и список того, из чего собрать похожего. Сведения о сервисах проверены 12 октября 2026 года.

Что модель делает с вашим снимком

Обычная языковая модель работает только с текстом. Для фото нужна мультимодальная, или визуально-языковая, модель: она принимает картинку вместе с вопросом и отвечает текстом. Внутри ответа на «что приготовить» и «сколько калорий» три разных действия, и надёжность у них разная.

1. Узнать продукты. Здесь у моделей лучший результат: в исследовании 2025 года на 114 фотографиях обычных блюд из продуктов, которые назвала универсальная чат-модель, верными оказались 93%.
2. Оценить количество. Сколько граммов мяса на тарелке и сколько каши под ним, по картинке не измерить: весов нет, а глубину тарелки на снимке не видно. В одном из исследований у двух лучших моделей средняя ошибка в весе и в калориях почти совпала - около 36%. Отсюда мой вывод (не авторов исследования): ошибаться модель начинает прежде всего на весе.
3. Посчитать КБЖУ. Калории, белки, жиры и углеводы получаются из веса и пищевой ценности продукта на 100 г. Модель берёт её «по памяти» или из таблицы, которую вы ей дадите.

Для холодильника важны первый шаг и подбор блюд: модель сопоставляет найденное с вашими условиями (время, плита или духовка, что исключить). С тарелкой всё решают второй и третий шаги, и к цифрам тут нужно относиться осторожнее.

Три способа: готовый чат, свой бот или своя модель

Готовый чат. В Поиске Яндекса есть Умная камера с Алисой AI: по справке, она распознаёт тексты и изображения, можно сделать снимок или загрузить готовую картинку и уточнить вопрос текстом. Работает и без аккаунта Яндекса. Подойдёт и любой другой ассистент, который принимает фото. Принимает ли он их, легко проверить: отправьте снимок и спросите, что на нём.

Свой бот через API. API - это способ, которым ваша программа отправляет модели запрос и получает ответ. Свой бот нужен, когда хочется хранить историю, задавать постоянные правила («без сахара», «готовлю на двоих») или сделать сервис для клиентов. Его состав - в разделе «Из чего собрать своего бота».

Модель на своём компьютере. Открытые модели можно скачать и запускать без интернета. Это вариант для тех, кто не хочет отправлять снимки своей кухни на чужие серверы, но компьютеру понадобится много памяти, а скорость ответа будет зависеть от его мощности.

Как получить ответ в готовом чате

Образец запроса для холодильника (это шаблон, а не текст моего бота):

На фото - содержимое моего холодильника.
1. Перечисли продукты, которые видишь. Если не уверен, так и напиши.
2. Предложи 3 блюда только из этих продуктов. Соль, перец и масло есть.
   Время - до 30 минут, есть плита и духовка. Не используй орехи.
3. Для каждого блюда оцени калорийность и БЖУ на порцию диапазоном
   и напиши, от чего зависит точность.

Образец для тарелки:

На фото - мой обед. Мясо жарили на масле, соуса нет, мяса около 200 г.
Назови, что на тарелке, оцени вес каждого компонента и посчитай калории,
белки, жиры и углеводы диапазоном. Отдельно перечисли свои допущения.

Просите диапазон и список допущений: так сразу видно, где модель гадает и что нужно уточнить.

Насколько можно доверять цифрам КБЖУ

Ниже три исследования 2025 года: в двух измеряли, насколько модели ошибаются по фото, в третьем - помогает ли текст к снимку.

• Распознавание - да, вес - нет. В работе на 114 фотографиях из названных моделью продуктов верными были 93%. Вес небольших порций она тоже оценила неплохо, а средних и больших - плохо. По 13 из 16 нутриентов расхождение с реальными значениями превысило 10%, и 11 нутриентов модель занизила. Зато расставить блюда по содержанию нутриентов, например понять, какое из них калорийнее, у неё получалось хорошо.
• Ошибка около трети. В другой работе 52 стандартизированных фото с вилкой и тарелкой в кадре сравнили со взвешенными порциями. У двух лучших моделей средняя ошибка в весе составила 36-37%, в калорийности - около 36%, у третьей - от 64 до 110% по разным показателям. Все три занижали, и тем сильнее, чем больше порция. По оценке авторов, две лучшие модели ошибаются примерно так же, как люди, которые сами записывают съеденное, но для точной оценки рациона, например в клинике или в спорте, такие модели пока не подходят.
• Текст к фото помогает. В исследовании на 195 блюдах точность росла, когда к снимку добавляли описание, а затем список ингредиентов с количеством. Без фото, по одному списку, результат был хуже, чем по фото со списком.

Во всех трёх работах проверяли зарубежные универсальные модели, а не сервисы из этой статьи. Отдельных исследований по этим сервисам я не нашёл, поэтому цифры - ориентир для таких моделей в целом, а не оценка конкретного сервиса.

На практике оценка по фото годится, чтобы сравнить два варианта ужина или понять порядок цифр. Если порция большая, настоящая калорийность, скорее всего, выше названной. Если нужна точность, взвесьте продукт и возьмите пищевую ценность с упаковки, а модель используйте для идей.

Как я собрал своего бота-нутрициолога

Этот бот я сделал для себя. Повод был бытовой: не знал, что приготовить из того, что лежит в холодильнике, и решил отдать этот выбор ИИ. Пост о боте вышел 21 сентября 2025 года.

Что умеет бот:

• по фото еды оценивает калорийность и БЖУ;
• по фото холодильника предлагает блюда;
• запоминает историю;
• работает как бот через API, а если хватает мощности компьютера - на локальных моделях.

В посте о боте есть скриншоты: бот получает фото шашлыка с овощами, оценивает калории и БЖУ и предлагает варианты блюд. Вес и калории он называет диапазонами и сам оговаривает, что оценка приблизительная, - ровно то, что стоит требовать и от готового чата.

Собирал я его в Cursor - редакторе кода со встроенным ИИ-помощником (с сентября 2026 года Cursor официально в России не работает). Похожие решения я видел в визуальных конструкторах автоматизаций, где сценарий собирается из блоков, но решил написать всё кодом и проверить в деле локальные модели. Был и второй повод: я расширял свой технологический стек, поэтому прошёл небольшое обучение по Cursor (официально в России не работает) и пробовал модели разных типов - языковые, визуально-языковые и модели компьютерного зрения.

Кухня - лишь самый понятный пример. Тот же приём «фото → распознавание → вывод» можно встроить в другие задачи: в посте я упоминал, например, разбор фото договора на риски и подсчёт остатков по фото склада. Это направления, а не проверенные проекты.

Из чего собрать своего бота

Если хотите повторить, минимальный набор такой. Это схема, а не готовая инструкция по программированию.

1. Бот в мессенджере или страница на сайте. Принимает фото и текст. Мой бот работал в Telegram: там фото приходит в нескольких размерах, а скачать бот может файл до 20 МБ. Учтите, что 10 февраля 2026 года Роскомнадзор подтвердил поэтапные ограничения работы Telegram в России, поэтому до запуска проверьте, как у ваших пользователей проходят фотографии.
2. Модель, которая принимает изображения. Варианты по документации сервисов на 12 октября 2026 года:
   • GigaChat API. Фото сначала загружают в хранилище, а затем передают в запросе идентификатор файла. Форматы - JPEG, PNG, TIFF и BMP, одно изображение до 15 МБ, одно изображение в сообщении и до 10 в запросе. На обработку одного изображения уходит не больше 1792 токенов. Условия оплаты зависят от того, подключались ли вы раньше и покупали ли пакеты: бесплатный режим и пакеты токенов в документации описаны для действующих клиентов, а новые клиенты и те, кто раньше пакеты не покупал, с 1 сентября 2026 года могут оплатить работу с моделями на платформе cloud.ru, где и указаны цены и условия. Есть ли у новых клиентов бесплатный режим, документация прямо не говорит.
   • Yandex AI Studio. Модель Qwen3.6 35B принимает изображения через API, картинка передаётся в кодировке Base64.
   • Своя модель через Ollama. Ollama - бесплатная программа с открытым кодом (лицензия MIT) для запуска моделей на своём компьютере. Из моделей, которые принимают изображения: Qwen3.6 в версии 27B (файл 18-19 ГБ) и 35B (23-24 ГБ), а для компьютера послабее - MiniCPM-V 4.5 в версии 8B (6,1 ГБ). Буква B означает миллиарды параметров: чем их больше, тем тяжелее модель для компьютера. Лицензия у этих моделей Apache 2.0.
3. Таблица пищевой ценности. Надёжнее, если модель возвращает только список продуктов и граммы, а калории считает ваш код по таблице, которой вы доверяете. Тогда при тех же граммах цифры не меняются, и их можно проверить.
4. Память. Небольшая база данных: что человек ел, его цели и исключения. Без неё бот каждый раз начинает с нуля.
5. Исправление ответа. Дайте пользователю поправить продукт или вес и пересчитайте. Это проще, чем добиваться от модели идеальной точности.

Чтобы боту было проще разобрать ответ модели, запрашивайте этот ответ в структурированном виде, например в формате JSON (продукт, граммы, уверенность). В документации GigaChat API и Ollama для этого есть отдельные разделы.

Одна и та же серия моделей Qwen3.6 есть и в облаке Yandex AI Studio, и в каталоге Ollama. Можно проверить гипотезу: начать в облаке, а потом перенести бота на свой компьютер. Версии в облаке и на компьютере могут отличаться, поэтому качество после переноса стоит проверить на своих снимках.

Ограничения: чего модель не видит и что происходит с данными

• Аллергии и непереносимость. Орехи в начинке или кунжут в соусе на снимке не видны. Состав проверяйте по этикетке.
• Свежесть. По фото не понять, испортился ли продукт и не истёк ли срок годности.
• Скрытые ингредиенты. Масло, сахар и соус внутри блюда модель не видит. Их нужно дописать текстом, иначе калорийность выйдет заниженной.
• Личные данные в кадре. В облачном сервисе снимок попадает к поставщику. В GigaChat API, например, фото сначала загружается в хранилище поставщика, а для удаления файла есть отдельный метод, так что в своём боте файл стоит удалять после ответа.
• Данные клиентов. Если бот работает для других людей, их история питания и аллергии - персональные данные, а сведения о состоянии здоровья закон о персональных данных (152-ФЗ) относит к специальной категории: обрабатывать их можно только в отдельных случаях, например с письменного согласия человека. Как хранить такие данные и как брать согласие, лучше заранее обсудить с юристом.

Частые вопросы