Текстовый поиск + семантика = Picollator

Поиск информации в сети стал для нас делом привычным, длительность процесса тоже не удивляет, да и качество результатов мало кто анализирует. Выдала поисковая система что-то, ключевые слова в результатах присутствуют. Если не нашлось, что нужно – ну значит, не шмогла:)

Занимаясь поиском мультимедиа, мы решили попробовать изменить текстовый поиск, используя собственные технологии. Смотрите, что получилось.

Введем имя «Мария» в качестве запроса на поиск в одной из известных систем. Получаем следующие результаты:

Вводим тот же запрос на picollator.ru. Результаты:

Видите разницу?

В первом случае демонстрируются изображения, содержащие в описаниях тег «Мария», в хаотичном порядке (или в беспорядке?). Во втором случае изображения выведены группой, потому как имеется сходство содержания этих картинок. Другими словами, система полагает, что это фотографии одного и того же человека. Отсюда и появление группы.

Мы использовали технологию, которая позволяет сравнивать визуальные объекты со словами, т.е. система создает объединенный индекс мультимедиа и текстовой информации, анализируя семантику изображений.

В следующей версии появится абсолютно новая группировка изображений и сайтов…однако об этом напишу в следующем постинге. Не пропустите:)

Дело в технологии

Иногда поиск Picollator сранивается с поисковиками, построенными на CBIR (Content Based Image Retrieval) технологии, например, TinEye, Gazopa и другие. Хотелось бы объяснить, в чем разница.

Термин CBIR, или поиск изображений по содержанию, обозначает технологии поиска картинок, основанные на анализе харакетристик содержания изображений.

Большинство поисковиков, основанных на технологии CBIR, сравнивают пиксель с пикселем на исходном изображении и изображениях из базы. Поэтому они достаточно хорошо ищут по цветовой гамме или текстуре, однако при этом не идентифицируют объекты на изображении и не распознают их.

Такие решения прекрасно подходят для поиска идентичных картинок, близких по цветовому решению фотографий. Например, это может быть интересно дизайнерам, подбирающим фотографии на фотостоке.

Чем отличается технология Picollator?

Технология Picollator позволяет найти и идентифицировать объекты на изображении, сравнить найденные объекты на разных фотографиях. Picollator не только ищет общую схожесть фотографий как в случае с поисковыми системами на базе content-based image retrieval, но и понимает, что или кто есть на фотографии.

Сейчас бета версия Picollator работает только с лицами, но в будущем мы планируем распознавать другие объекты и сравнивать их между собой.

В чем отличие подхода Recogmission?

Recogmission пошла путем поиска информации по загруженной картинке. Понимая содержание картинки (какие на ней объекты), можно искать всю информацию об этих объектах, в том числе видео, картинки, текст. При этом наличие текстовых опсаний совершенно не обязательно.

Такая задача представляется более сложной нежели поиск похожих по цветовой гамме изображений (оранжевым может быть как апельсин, так и женская сумка). Хотя в индустрии Интернет каждый найдет свою нишу.

Помидор = similarity

В пятницу мы запустили новый релиз поисковой системы Picollator. В этом релизе появились новые функции, которые позволят пользователям более удобно работать с системой .

Я расскажу о новых иконках, разделяющих фотографии, найденные по похожести (similarity) и тексту (text). Иконки отображаются только в том случае, если пользователь загрузил картинку и ввел текст в поисковую строку.

Почему мы это внедрили? В одном из постов на Хабрахабр пользователь загрузил интересный вариант поиска на Picollator.

Пользователь заявил, что Picollator выдал «некорректные» результаты, распознав в мяче женщину. Но если обратить внимание, Picollator представил результаты как по картинке, так и по слову ball (смотрите поисковую строку). Как оказалось, женщину зовут Lucille Ball, и поисковик выдал такие результаты не по фотографии мяча, а по ключевому слову ball.

Нам стало очевидно, что необходимо каким-то образом помечать фотографии, найденные по схожести, найденные по тексту, найденные по схожести и тексту.

Было предложено следующее решение.

Картинки, найденные по похожести, помечаются иконкой «помидор». Картинки, найденные по тексту, помечаются иконкой «text». Фотографии, найденные и по тому, и по другому признаку, помечаются двумя иконками.

Особенности поиска фотографий по схожести

Поиск фотографий по текстовому запросу существенно отличается от поиска по загруженному изображению.

При текстовом поиске поисковик ищет соответствие вашему ключевому запросу в названии файла или альтернативном тексте к фотографии. При поиске похожих изображений фотография обрабатывается, не текст, а ее содержимое распознается.

Picollator ищет похожие лица. У пользователей возникает вопрос: я загрузила женскую фотографию, а поисковик выдал фотографии мужчин.

Ответ. Поисковик, работающий не с текстом, а с содержанием картинки, сканирует лицо и ищет похожие лица. Для него все лица – одного пола. Лицо – это объект. Так же как и в жизни мы определяем пол не по лицу, а по вторичным признакам, и даже мы иногда ошибаемся.

Мужчина может быть похож на женщину . Факт. Рассмотрим пример поиска по фотографии Джона Деппа, который так часто переодевается и гримируется.

Обратим внимание, что Picollator обозначил, что исходная фотография Деппа (слева, самая большая) похожа на фото женщины, смотрите справа внизу. И даже визуально мы видим, что они действительно похожи (ну я думаю для вас не секрет, что это Депп в гриме).

Итак, странно ли, что в ваших поисковых результатах на фотографию женщины выходят фотограии мужчин? Думаю нет.

В любом случае, мы будем работать над нашими алгоритмами, чтоб наиболее близко приблизиться к тайне человеческого лица.

Новый подход к мобильному поиску

Аудитория мобильного поиска растет из года в год. Аналитики исследовательской компании comScore M:Metrics сообщили, что за июнь 2008 года мобильным поиском воспользовалось 20,8 миллионов американских пользователей сотовых телефонов и 4,5 миллиона европейцев. Эти показатели на 68% и 38% соответственно выше данных июня прошлого года.

Практически все крупные поисковики имеют мобильную версию: Google Mobile, Live Search и Yahoo Mobile. Рунет также не отстает – мобильными версиями обладает Яндекс, Aport, Rambler.

Из новых проектов, стартовавших в рунете для мобильных устройств, – Picollator.mobi, проект компании Recogmission.

В чем отличие подхода к мобильному поиску Picollator?

Мобильный поиск – отдельная тема. В связи с особенностями ввода текста с мобильных устройств необходимо сделать способ подачи запроса наиболее удобным.

Именно поэтому Picollator.mobi, стартовавший весной 2008 года, позволяет пользователям просто загрузить изображение на сайт и искать по нему релевантную информацию.

picollator mobile search

Picollator.mobi работает с телефонами Nokia и коммуникаторами на базе Windows Mobile. В качестве браузера рекомендуется использовать Opera Mini