Найти неизвестного – миссия выполнима

Вот мы и сделали новую версию, которая группирует фотографии по степени сходства. В отличие от предыдущей версии теперь похожие фотографии группируются, и эти группы отображаются в результатах поиска. Число картинок в группе указано в скобках.

Не буду давать длинных текстовых описаний, просто покажу практический пример использования новой группировки из серии «Найти неизвестного».

Как-то исторически сложилось, что особенно привлекательным для нашей системы является мистер Буш – Picollator распознает его во всяком обличье и ракурсах (видимо, что-то в нем есть для машинного глаза).

Первоначально загружаем произвольно выбранное фото Буша. В результатах поиска появилась группа фотографий Джорджа (надеюсь, он не обидится за некоторую фамильярность) с  »неизвестным».  И в этой группе 38 фото.

В текстовом описании к файлу об этой интересной личности нет ни одного слова.  И как определить, кто это? Это не просто, а очень просто.

Нажимаем на ссылку Найти похожие (Similar) к данной группе фотографий, и вот он наш незнакомец – Карл Роув:

Как видим, в результатах поиска есть фотографии Карла и с Джорджем, и с другими товарищами. Цепочку выявления связей можно при желании  продолжить:)

Итак,  личность установлена. Далее можно использовать традиционные методы получения информации…

Текстовый поиск + семантика = Picollator

Поиск информации в сети стал для нас делом привычным, длительность процесса тоже не удивляет, да и качество результатов мало кто анализирует. Выдала поисковая система что-то, ключевые слова в результатах присутствуют. Если не нашлось, что нужно – ну значит, не шмогла:)

Занимаясь поиском мультимедиа, мы решили попробовать изменить текстовый поиск, используя собственные технологии. Смотрите, что получилось.

Введем имя «Мария» в качестве запроса на поиск в одной из известных систем. Получаем следующие результаты:

Вводим тот же запрос на picollator.ru. Результаты:

Видите разницу?

В первом случае демонстрируются изображения, содержащие в описаниях тег «Мария», в хаотичном порядке (или в беспорядке?). Во втором случае изображения выведены группой, потому как имеется сходство содержания этих картинок. Другими словами, система полагает, что это фотографии одного и того же человека. Отсюда и появление группы.

Мы использовали технологию, которая позволяет сравнивать визуальные объекты со словами, т.е. система создает объединенный индекс мультимедиа и текстовой информации, анализируя семантику изображений.

В следующей версии появится абсолютно новая группировка изображений и сайтов…однако об этом напишу в следующем постинге. Не пропустите:)

Помидор = similarity

В пятницу мы запустили новый релиз поисковой системы Picollator. В этом релизе появились новые функции, которые позволят пользователям более удобно работать с системой .

Я расскажу о новых иконках, разделяющих фотографии, найденные по похожести (similarity) и тексту (text). Иконки отображаются только в том случае, если пользователь загрузил картинку и ввел текст в поисковую строку.

Почему мы это внедрили? В одном из постов на Хабрахабр пользователь загрузил интересный вариант поиска на Picollator.

Пользователь заявил, что Picollator выдал «некорректные» результаты, распознав в мяче женщину. Но если обратить внимание, Picollator представил результаты как по картинке, так и по слову ball (смотрите поисковую строку). Как оказалось, женщину зовут Lucille Ball, и поисковик выдал такие результаты не по фотографии мяча, а по ключевому слову ball.

Нам стало очевидно, что необходимо каким-то образом помечать фотографии, найденные по схожести, найденные по тексту, найденные по схожести и тексту.

Было предложено следующее решение.

Картинки, найденные по похожести, помечаются иконкой «помидор». Картинки, найденные по тексту, помечаются иконкой «text». Фотографии, найденные и по тому, и по другому признаку, помечаются двумя иконками.

Особенности поиска фотографий по схожести

Поиск фотографий по текстовому запросу существенно отличается от поиска по загруженному изображению.

При текстовом поиске поисковик ищет соответствие вашему ключевому запросу в названии файла или альтернативном тексте к фотографии. При поиске похожих изображений фотография обрабатывается, не текст, а ее содержимое распознается.

Picollator ищет похожие лица. У пользователей возникает вопрос: я загрузила женскую фотографию, а поисковик выдал фотографии мужчин.

Ответ. Поисковик, работающий не с текстом, а с содержанием картинки, сканирует лицо и ищет похожие лица. Для него все лица – одного пола. Лицо – это объект. Так же как и в жизни мы определяем пол не по лицу, а по вторичным признакам, и даже мы иногда ошибаемся.

Мужчина может быть похож на женщину . Факт. Рассмотрим пример поиска по фотографии Джона Деппа, который так часто переодевается и гримируется.

Обратим внимание, что Picollator обозначил, что исходная фотография Деппа (слева, самая большая) похожа на фото женщины, смотрите справа внизу. И даже визуально мы видим, что они действительно похожи (ну я думаю для вас не секрет, что это Депп в гриме).

Итак, странно ли, что в ваших поисковых результатах на фотографию женщины выходят фотограии мужчин? Думаю нет.

В любом случае, мы будем работать над нашими алгоритмами, чтоб наиболее близко приблизиться к тайне человеческого лица.

Новый подход к мобильному поиску

Аудитория мобильного поиска растет из года в год. Аналитики исследовательской компании comScore M:Metrics сообщили, что за июнь 2008 года мобильным поиском воспользовалось 20,8 миллионов американских пользователей сотовых телефонов и 4,5 миллиона европейцев. Эти показатели на 68% и 38% соответственно выше данных июня прошлого года.

Практически все крупные поисковики имеют мобильную версию: Google Mobile, Live Search и Yahoo Mobile. Рунет также не отстает – мобильными версиями обладает Яндекс, Aport, Rambler.

Из новых проектов, стартовавших в рунете для мобильных устройств, – Picollator.mobi, проект компании Recogmission.

В чем отличие подхода к мобильному поиску Picollator?

Мобильный поиск – отдельная тема. В связи с особенностями ввода текста с мобильных устройств необходимо сделать способ подачи запроса наиболее удобным.

Именно поэтому Picollator.mobi, стартовавший весной 2008 года, позволяет пользователям просто загрузить изображение на сайт и искать по нему релевантную информацию.

picollator mobile search

Picollator.mobi работает с телефонами Nokia и коммуникаторами на базе Windows Mobile. В качестве браузера рекомендуется использовать Opera Mini