Визуальный поиск является одной из самых сложных и высококонкурентных областей современного Интернета. Посудите сами: в начале июня поисковая система Bing анонсировала новый режим визуального поиска, который тут же потеснил подобные разработки от Pinterest и Google.
Неудивительно, что визуальный поиск имеет такое важное значение для крупнейших технологических компаний, ведь огромный пласт человеческой культуры представлен разного рода изображениями. Темпы развития этой технологии, безусловно, высокие, но лидера в этом направлении до сих пор нет и, вероятно, не будет еще некоторое время.
За последнее десятилетие поисковая индустрия сумела продвинуться далеко вперед в своем развитии, которое нашло свое отражение, прежде всего, в использовании преимуществ персонализации, разработке механизмов обработки естественного языка и поиска по мультимедиа. Однако потенциал визуального поиска, учитывая роль изображений в нашей жизни, все еще не раскрыт полностью.
Необходимо отметить, что это не связано с недостатком внимания или инвестиций. Совсем наоборот. Прорыв в разработке визуального поиска требует сочетания новаторства в области технологий, более глубокого понимания психологии пользователей и нейронаучных ноу-хау. Все это делает данную область развития весьма увлекательной и перспективной, но вместе с тем далеко не такой простой и преисполненной разного рода подводных камней.
Именно поэтому в данной статье сначала будет дана зарисовка современного состояния визуального поиска и тех проблем, с которыми столкнулись пионеры индустрии, а затем — анализ тех достижений, которые удалось совершить Google, Microsoft и Pinterest.
Что такое визуальный поиск?
Начнем с того, что каждый из нас ежедневно осуществляет визуальный поиск, например, потеряв ключи от дома и пытаясь найти их среди сотни других предметов, находящихся в квартире. Со временем распознавать определенные вещи нам удается все проще и проще.
Для компьютера, однако, эта задача все еще остается довольно сложной.
Поиск изображений, в котором поисковая система принимает текстовый запрос и пытается подобрать наиболее близкое визуальное соответствие, несколько отличается от современного визуального поиска. В ходе визуального поиска запросом является не текст, а некое изображение. Точный визуальный поиск требует от поисковой системы выполнения гораздо более сложных процессов, чем те, которые протекают при традиционном поиске изображений по текстовым запросам.
Как правило, в рамках этого процесса глубокие нейронные сети проходят через ряд тестов, как показано на изображении ниже, чтобы максимально близко имитировать работу человеческого мозга при определении целей:
Поиск по цвету: сходство цели-дистрактора; поиск по форме: задать размер; поиск по цвету: задать размер
Наличие когнитивных искажений, позволяющих людям мгновенно считывать эти закономерности, гораздо труднее интегрировать в машину. По существу, поисковые системы все еще стремятся к тому, чтобы обрабатывать изображения именно так, как мы и ожидаем от них. Но, к сожалению, мы недостаточно хорошо понимаем особенности работы собственного мышления, чтобы иметь возможность воспроизвести их в другой системе.
Тем не менее в этой области достигнут значительный прогресс. Поиск изображений по текстовым запросам в Google, как и в TinEye, значительно улучшился, равно как и поиск по картинке. Это полезная функция, но ее пределы очевидны.
За прошедшие годы Facebook удалось научить систему идентифицировать на фотографиях лица конкретных людей, при этом так же, как данный процесс происходит у человека, когда тот видит лицо своего друга. Данный пример наиболее близок к тому, чтобы полностью раскрыть потенциал визуального поиска, но в данном случае Facebook изначально сориентировал систему на поиск лиц, то есть дал ему четкую цель.
В идеале онлайновый визуальный поиск должен позволить на основе исходного получить другое, связанное изображение. Например, мы могли сфотографировать на смартфон свое кресло, а система подобрала бы подходящие к этому предмету мебели стиль обоев или ковра.
Визуальный поиск Bing
В начале июня на TechCrunch 50 Microsoft объявила, что теперь у пользователей появится возможность осуществлять «поиск по картинке».
Это примечательное событие по ряду причин. Хотя возможность поиска по картинке в Bing присутствовала раньше, Microsoft фактически удалила эту систему в 2012 году. Люди не пользовались данной функцией с момента ее запуска в 2009, поскольку она не была достаточно точной.
Было бы справедливым сказать, что на самом деле Microsoft немного отстает в этой гонке. Конкурирующие с ней поисковые системы и социальные медиа-платформы уже давно обзавелись системами визуального поиска.
Поэтому разумно предположить, что Microsoft все же припасла туз в рукаве и готова предложить потребителям нечто совершенно прорывное, раз она не боится перезапускать свои продукты, сопровождая их публичными заявлениями в таком масштабе. В целом визуальный поиск в Bing по-прежнему представляет собой довольно неплохой инструмент поиска, но называть его революционным пока рано.
Пример поиска в Bing «идей декора кухни» должен продемонстрировать новые возможности визуального поиска этой системы
Визуальный поиск от Bing отличает наличие возможности поиска по какому-либо фрагменту изображения, что, несомненно, может дополнить выбор пользователя.
Пользователь может выделить конкретный объект на изображении, совершить поиск аналогичных предметов и приобрести нечто похожее, если, конечно, у него будет такая потребность. Польза, которую получают от такого поиска интернет-ритейлеры, довольно очевидна.
Стоит отметить, что визуальный поиск Pinterest научился выполнять подобные операции раньше. Но важное отличие между возможностями Pinterest и Bing в том, что что Pinterest может лишь перенаправлять пользователей на пины, которые бизнес сделал доступным на Pinterest, и не все из них могут быть доступны для покупки, тогда как Bing может индексировать веб-сайт продавца и использовать визуальный поиск, чтобы направить к нему пользователя, без дополнительных усилий с обеих сторон.
Используемая технология Silverlight должна сделать визуальный поиск более изысканным. Компания Microsoft представила следующую визуализацию того, как их система обработки запросов работает на этом продукте:
Запрос «Привет, мир» => понимание запроса => поиск совпадений => мультиуровневое ранжирование.
Запросом выступает изображение => интерпретация изображения (обработка изображения, вывод текстового запроса, запуск сценария) => подбор соответствующих материалов-мультиуровневое ранжирование
Microsoft объединяет эту систему с тем объемом структурированных данных, которыми она владеет, чтобы обеспечить гораздо более богатый и информативный опыт поиска.
Хотя поиск пока еще ограничен такими поисковыми категориями, как посуда, путешествия и спорт, ожидается, что в этом году поиск охватит еще больше областей.
Следующим шагом будет автоматизация частей этого процесса, так что пользователю больше не придется выделять рамкой нужные ему объекты на картинке. Но это все еще далеко от обещанного всем идеального визуального поиска, но и эти обновления уже сейчас позволяют пользователям осуществлять коммерческие запросы.
Google Lens
Google анонсировала продукт под названием Lens в этом году на конференции Google I/O, прошедшей в мае. Предназначение этого продукта — превратить ваш смартфон в мощную систему визуального поиска.
Сфотографируйте что-нибудь, и Google подскажет вам, что за объект вы только что сняли, а также поведает связанную с этим местом или объектом информацию. Наведите свой смартфон на ресторан, к примеру, и Google определит его название, подскажет, посещали ли раньше это заведение ваши друзья, и, конечно, познакомит вас с парочкой отзывов.
С Google Lens камера вашего смартфона будет не только видеть то, что видите вы, но и снабдит вас вспомогательной информацией о предмете вашего интереса
Это дополняется вызывающим зависть у конкурентов огромным запасом данных, который находится в ведении у Google (это и собственная база знаний Google, и вся потребительская информация, которая хранится на серверах компании). Все эти данные подпитывают и уточняют глубокие нейронные сети Google, которые играют ключевую роль в эффективном функционировании продукта.
Принадлежащая Google компания DeepMind находится на передовой в области разработок решений визуального поиска. Таким образом, DeepMind также особенно хорошо знает, насколько сложной является освоение этой технологии.
Трудность заключается не столько в создании нейронных сетей, которые могли бы интерпретировать изображения так же хорошо, как и люди. Главной проблемой (известной под названием black box problem, «проблема черного ящика») является то, что процессы, участвующие в формировании выводов, являются настолько сложными, многогранными и неуловимыми, что даже инженеры Google испытывают трудности в их отслеживании.
Это указывает на довольно острый парадокс, лежащий в основе визуального поиска и, в более широком смысле, использования глубоких нейронных сетей. Цель состоит в том, чтобы имитировать работу человеческого мозга; Однако мы до сих пор не понимаем, как он работает.
В результате DeepMind начали изучать новые методы. В захватывающем блог-посте они кратко изложили выводы недавнего исследования, в рамках которого они применяли индуктивные рассуждения, проявляющиеся в восприятии изображений человеком.
Опираясь на богатую историю когнитивной психологии (богатую по сравнению с зарождающимся полем нейронных сетей), ученым удалось применить в своих технологиях те же искажения (biases), которые наблюдаются у людей при классификации ими предметов.
DeepMind иллюстрирует собственное видение следующим примером:
«Полевой лингвист отправился познакомиться с культурой, язык которой полностью отличается от нашего. Лингвист пытается освоить несколько слов при помощи носителя языка, но вдруг мимо пробегает кролик. Носитель языка восклицает «gavagai», а лингвист пытается сделать вывод о смысле этого восклицания. В этом случае лингвист сталкивается с обилием возможных выводов: слово «gavagai» может служить обозначением кролика, какого-либо животного либо какой-то белой вещи, этого конкретного кролика или какую-то его часть. Существует бесконечное количество возможных выводов, которые могут быть сделаны. Как люди могут выбрать правильный?».
Эксперименты в области когнитивной психологии показали, что люди подвержены «shape bias», искажению формы; так сказать, мы отдадим предпочтение тому варианту, что это все-таки кролик, и не будем фокусироваться на его отдельных характеристиках. Мы осознаем все эти факторы, но выбираем форму в качестве важнейшего критерия.
DeepMind является одним из наиболее важных приобретений Google для работ в области искусственного интеллекта, так что ожидается, что находки, представленные выше, будут включены в визуальный поиск в ближайшем будущем.
Pinterest Lens
Pinterest все больше стремится зарекомендовать себя в качестве поисковой системы, а не социальной сети, для использования которой к тому же не требуются слова; только изображения.
Запуск собственного Lens-продукта в марте этого года было серьезным заявлением о намерениях, и чтобы обеспечить себя резервом для развития, компания переманила из Google несколько видных специалистов, работавших над системой визуального поиска.
Создание платного поискового продукта и предоставление таких услуг, как «Shop the Look» (эта функция позволяет вам находить и покупать вещи, которые вы видите на изображениях) все больше приводит к тому, что Pinterest может стать реальным конкурентом по маркетингу. Вместе с Amazon компания может извлечь выгоду из стремления рекламодателей выйти за пределы Google и Facebook.
На прошедшей в этом году конференции TechCrunch Disrupt президент Pinterest Тим Кендалл (Tim Kendall) отметил следующее: «Мы в состоянии, чтобы перейти к дифференциации и созданию таких вещей, которые другие не могут. Или могут, но из-за природы продуктов для них это не имеет смысла».
Пользователи Pinterest приходят на сайт за чем-то другим, что и позволяет социальной сети предлагать им разные продукты. В то время как Google сражается сразу на нескольких фронтах, Pinterest может сосредоточиться на улучшении своей системы визуального поиска.
Несомненно, эта система требует доработок, но Pinterest Lens можно назвать самым продвинутым инструментом визуального поиска, доступным на данный момент. Со своего смартфона «пиннер» (пользователь социальной сети Pinterest) может загрузить любое изображение в приложение и обработать его с высокой точностью при помощи технологии Pinterest.
Результаты весьма неплохи для таких категорий товаров, как одежда и домашняя утварь, хотя до момента, когда Pinterest можно будет использовать в качестве личного стилиста, технология должна пройти немалый путь развития. Тем не менее на сегодня разработка Pinterest Lens выглядит очень впечатляюще.
Следующим шагом станет монетизация, и Pinterest об этом не забывает. Визуальный поиск станет частью платного рекламного пакета, который, несомненно, будет интересен ритейлерам, стремящимся выйти за рамки таргетинга ключевых слов и поиска в социальных сетях.
Возможно, пройдет немало лет, прежде чем какая-либо из этих и других компаний одержит победу в этой борьбе за превосходство в области визуального поиска, но очевидно, что этот выигрыш сулит несметную прибыль.
Высоких вам конверсий!
По материалам searchenginewatch.com Источник картинки: Staci Kennelly
