Google PlaNet определит где сняли котика

1 марта 2016 года

Как утверждает Google, он способен определить место, где сделано фото этого котёнка

Архитектура свёрточной нейронной сети

Команда учёных Google и Рейнско-Вестфальского технического университета Ахена представила программу PlaNet, которая позволяет определить где была сделана фотография — даже без присутствия хорошо известных ориентиров, геотэгов или GPS. Исследователи утверждают, что определят место съёмки любого фото, даже изображению еды или домашнего животного.

Исследовательская группа отметила в описании проекта:

PlaNet способен локализовать 3,6% изображений с точностью до уровня улицы и 10,1% с точностью до уровня города. 28,4% из фотографий правильно локализованы на уровне страны и 48,0% – на уровне континента.

Новый алгоритм построен на обучении искусственной нейронной сети и отличается от предшественников тем, что опирается не только на какие-либо хорошо известные достопримечательности, а автоматически использует весь доступный комплекс деталей, например, пейзаж, цвета, особенности архитектуры, присутствие характерных животных и растений. Препринт работы выложен на arXiv.org.

Для обучения и тестирования алгоритма команда собрала 126 миллионов фотографий с доступными тегами геолокации. Три четверти фотографий использовались для обучения нейронной сети, одна четверть — для тестирования.

Для целей исследования поверхность Земли разбили на квадраты таким образом, чтобы на каждый из них попадало не более 10 000 снимков. В малонаселённых районах площадь квадратов была больше, в крупных городах, например, они размещались плотнее. Квадраты, в которые попадало менее 50 снимков (океаны или крайний север) в исследование вообще не включались.

Затем исследователи обучили свёрточную нейронную сеть, которая решала задачу классификации. На выходе она должна выдавать распределение вероятностей по квадратам: чем больше значение, тем больше вероятность, что снимок был сделан в этом регионе. Параметры подбирались таким образом, чтобы для фото с известным геотегом вероятность в «нужном» квадрате стремилась к 100 процентам, а во всех остальных — к нулю.

При тестировании обученногой нейросети оказалось, что 3,6 процента все фотографий программа может опознать с точностью до улицы, 10,1 процента — в пределах города, 28,4 процента — с точностью до страны и 48 процентов — до континента. При этом, если среди ответов смотреть не на одного, а на пять лучших претендентов, эта точность повышалась почти в два раза.

Следом с помощью онлайн-игры Geoguessr исследовали провели соревнования между PlaNet людьми и другими программами. По итогам 50 раундов PlaNet выиграл 28 раз, при этом его средняя ошибка составила 1131,7 километров. Люди ошибались в среднем на 2320,75 километров.

У нового программного обеспечения есть некоторые ограничения. Так, например, оно не смогло идентифицировать удалённые или редко посещаемые области.

Можно было бы представить, что для работы PlaNet требуется помещение, заполненное серверами и суперкомпьютерами. Но, по словам исследователей, программа не занимает даже половины гигабайта, то есть сможет легко поместиться на большинстве смартфонов. Исследователи не уточняют, может ли программа работать локально, без обращение ко внешней базе данных.

Ранее подобная задача решалась, например, в рамках проекта Im2GPS, где местоположение определяется при помощи сравнения заданного снимка с базой Flickr. В другом проекте сравнивались комбинации снимков с земли и с воздуха, а также анализ локальных объектов, присутствующих на фотографии (статья (Архивная копия от 5 октября 2015 на Wayback Machine)). А авторы проекта Skyline2GPS сравнивали линию горизонта на фотографии с трёхмерной моделью города.

Ссылки

• Tobias Weyand, Ilya Kostrikov, James Philbin PlaNet — Photo Geolocation with Convolutional Neural Networks.
• Geoguessr.

Источники

• Тарас Молотилин «Нейросеть научили ставить геотег на снимки еды и котиков». nplus1.ru, 25 февраля 2016 года. (архив)

Эта статья содержит материалы из статьи «Google выпускает новое приложение для фотографий», опубликованной VOA News и находящейся в общественном достоянии (анг., рус.).

Комментарии

Викиновости и Wikimedia Foundation не несут ответственности за любые материалы и точки зрения, находящиеся на странице и в разделе комментариев.

Мнения

Пожалуйста, прочтите правила общения и оформления реплик на портале Викиновости

Если вы хотите сообщить о проблеме в статье (например, фактическая ошибка и т. д.), пожалуйста, используйте обычную страницу обсуждения.

Комментарии на этой странице могут не соответствовать политике нейтральной точки зрения, однако, пожалуйста, придерживайтесь темы и попытайтесь избежать брани, оскорбительных или подстрекательных комментариев. Попробуйте написать такие комментарии, которые заставят задуматься, будут проницательными или спорными. Цивилизованная дискуссия и вежливый спор делают страницу комментариев дружелюбным местом. Пожалуйста, подумайте об этом.

Несколько советов по оформлению реплик:

• Новые темы начинайте, пожалуйста, снизу.
• Используйте символ звёздочки «*» в начале строки для начала новой темы. Далее пишите свой текст.
• Для ответа в начале строки укажите на одну звёздочку больше, чем в предыдущей реплике.
• Пожалуйста, подписывайте все свои сообщения, используя четыре тильды (~~~~). При предварительном просмотре и сохранении они будут автоматически заменены на ваше имя и дату.

Обращаем ваше внимание, что комментарии не предназначены для размещения ссылок на внешние ресурсы не по теме статьи, которые могут быть удалены или скрыты любым участником. Тем не менее, на странице комментариев вы можете сообщить о статьях в СМИ, которые ссылаются на эту заметку, а также о её обсуждении на сторонних ресурсах.

Добавить комментарий