Работа с распознаванием образов имеет одну уникальную особенность – процесс развития может принять неожиданный оборот.

Если проанализировать путь нашей компании, на котором точками будут отмечены локализуемые нами объекты, получится интересная траектория.

Первым объектом стали лица, т.к. данные статистики показывали, что это максимально часто встречающийся объект на фотографиях.

Следующим (промежуточным) звеном оказалась мебель. По заказу одной европейской компании мы разработали мини-решение для сайта по поиску похожих предметов интерьера.

Продолжая анализировать изображения  с людьми, мы «наткнулись» на еще одну группу «объектов», которые представляют интерес для доминирующей части взрослого населения по всему миру. Причем слова в данном случае, как говорится, излишни Поскольку нам слова тоже без надобности, мы решили использовать технологические наработки и выпустили сервис автоматического детектирования порнографических изображений.

Каким может быть следующий пункт? Интересно, что объектов окружающего мира множество, и не все их изображения оказались распознанными на сегодняшний день. Например, на фестском диске отображена целая система объектов, которые до сих пор остаются большой минойской загадкой:

Может быть, заняться расшифровкой фестского диска ?

Какие объекты станут следующим звеном в цепочке распознавания? Примите участие в нашем опросе

Можно делать ставки

Возможность различать на фотографиях «не лица» обнаружилась в ходе разработок Picollator.  Однако на тот момент мы даже не подозревали, насколько актуальной является тема порно. Все известные публичные сервисы пытаются организовать процесс работы с нежелательным контентом и особых успехов пока в этом не достигли. Последняя публикация на Newsweek посвящена киберкопам Facebook, описанию их трудовых будней и тяжелой, но такой необходимой работе . 150  человек каждый день сортируют пользовательский контент в зависимости от собственных предпочтений – мускулистый представитель сильной половины человечества в душе, – не совсем правильно, но красиво – что ж, одобрим фото.  А вот здесь уже демонстрация не такая эффектная, – пожалуй, ограничим показ и т.д., и т.п.

Не сомневаюсь, что кто-то даже позавидует такой работе, за которую еще и платят достаточно. А что можно сказать о компании? Для наглядности возьмем данные Facebook:

1)  150 человек из 850 занимаются ручной модерацией изображений, – 17% персонала! Эти специалисты, среди которых есть выпускники Стенфорда, могли бы решать гораздо более интересные задачи;

2) эти люди в день мониторят 11 250 изображений из 400 000, что составляет только 3%!

3) 400 000 – это ежедневный объем фото, отмеченных пользователями как нежелательные для просмотра. А сколько фото осталось «за кадром»?

Такой подход напоминает 18 век, когда использовался исключительно ручной труд, однако затем появились машины и механизмы… ну а далее вы сами знаете.

Мы решили напомнить, что 21 век уже наступил, и выпустили сервис автоматической детекции сомнительного контента piFilter, русская версия которого готовится и будет доступна в ближайшее время.

Вот в чем вопрос. Именно его мы решали в последние месяцы, и теперь можем дать ответ, просто взглянув машинным глазом на фотографию. Основная фишка в том, что текстовые описания, теги и прочие метки здесь ни при чем. Новое решение от Рекогмишн способно на основе анализа содержания изображений определить, относится ли контент к категории «порно».

Надо сказать, что процесс обучения был не из легких (хотя, возможно, кто-то может даже позавидовать авторам разработки ). Есть определенная специфика распознаваемых объектов по сравнению с лицами (какая же трудная тема для описания однако), соответственно система должна найти эти «специфические» объекты на картинке и одновременно не должна перепутать их с другими объектами. Если такие элементы найдены, фото классифицируется как «порно» и блокируется для отображения. Конечно, иногда фильтр смущается (а может устает ) и не может дать точный ответ. Ну здесь уж ничего не поделаешь, человек еще более субъективен в оценках и может забраковать вполне невинное фото.

Фильтр работает в автоматическом режиме, обрабатывает как отдельные картинки, так и сайты с визуальным контентом, может включаться и отключаться.

Теперь вам достаточно лишь определиться с выбором варианта ответа…

Вот мы и сделали новую версию, которая группирует фотографии по степени сходства. В отличие от предыдущей версии теперь похожие фотографии группируются, и эти группы отображаются в результатах поиска. Число картинок в группе указано в скобках.

Не буду давать длинных текстовых описаний, просто покажу практический пример использования новой группировки из серии «Найти неизвестного».

Как-то исторически сложилось, что особенно привлекательным для нашей системы является мистер Буш – Picollator распознает его во всяком обличье и ракурсах (видимо, что-то в нем есть для машинного глаза).

Первоначально загружаем произвольно выбранное фото Буша. В результатах поиска появилась группа фотографий Джорджа (надеюсь, он не обидится за некоторую фамильярность) с  »неизвестным».  И в этой группе 38 фото.

В текстовом описании к файлу об этой интересной личности нет ни одного слова.  И как определить, кто это? Это не просто, а очень просто.

Нажимаем на ссылку Найти похожие (Similar) к данной группе фотографий, и вот он наш незнакомец – Карл Роув:

Как видим, в результатах поиска есть фотографии Карла и с Джорджем, и с другими товарищами. Цепочку выявления связей можно при желании  продолжить:)

Итак,  личность установлена. Далее можно использовать традиционные методы получения информации…

Поиск информации в сети стал для нас делом привычным, длительность процесса тоже не удивляет, да и качество результатов мало кто анализирует. Выдала поисковая система что-то, ключевые слова в результатах присутствуют. Если не нашлось, что нужно – ну значит, не шмогла:)

Занимаясь поиском мультимедиа, мы решили попробовать изменить текстовый поиск, используя собственные технологии. Смотрите, что получилось.

Введем имя «Мария» в качестве запроса на поиск в одной из известных систем. Получаем следующие результаты:

Вводим тот же запрос на picollator.ru. Результаты:

Видите разницу?

В первом случае демонстрируются изображения, содержащие в описаниях тег «Мария», в хаотичном порядке (или в беспорядке?). Во втором случае изображения выведены группой, потому как имеется сходство содержания этих картинок. Другими словами, система полагает, что это фотографии одного и того же человека. Отсюда и появление группы.

Мы использовали технологию, которая позволяет сравнивать визуальные объекты со словами, т.е. система создает объединенный индекс мультимедиа и текстовой информации, анализируя семантику изображений.

В следующей версии появится абсолютно новая группировка изображений и сайтов…однако об этом напишу в следующем постинге. Не пропустите:)

Иногда поиск Picollator сранивается с поисковиками, построенными на CBIR (Content Based Image Retrieval) технологии, например, TinEye, Gazopa и другие. Хотелось бы объяснить, в чем разница.

Термин CBIR, или поиск изображений по содержанию, обозначает технологии поиска картинок, основанные на анализе харакетристик содержания изображений.

Большинство поисковиков, основанных на технологии CBIR, сравнивают пиксель с пикселем на исходном изображении и изображениях из базы. Поэтому они достаточно хорошо ищут по цветовой гамме или текстуре, однако при этом не идентифицируют объекты на изображении и не распознают их.

Такие решения прекрасно подходят для поиска идентичных картинок, близких по цветовому решению фотографий. Например, это может быть интересно дизайнерам, подбирающим фотографии на фотостоке.

Чем отличается технология Picollator?

Технология Picollator позволяет найти и идентифицировать объекты на изображении, сравнить найденные объекты на разных фотографиях. Picollator не только ищет общую схожесть фотографий как в случае с поисковыми системами на базе content-based image retrieval, но и понимает, что или кто есть на фотографии.

Сейчас бета версия Picollator работает только с лицами, но в будущем мы планируем распознавать другие объекты и сравнивать их между собой.

В чем отличие подхода Recogmission?

Recogmission пошла путем поиска информации по загруженной картинке. Понимая содержание картинки (какие на ней объекты), можно искать всю информацию об этих объектах, в том числе видео, картинки, текст. При этом наличие текстовых опсаний совершенно не обязательно.

Такая задача представляется более сложной нежели поиск похожих по цветовой гамме изображений (оранжевым может быть как апельсин, так и женская сумка). Хотя в индустрии Интернет каждый найдет свою нишу.

В пятницу мы запустили новый релиз поисковой системы Picollator. В этом релизе появились новые функции, которые позволят пользователям более удобно работать с системой .

Я расскажу о новых иконках, разделяющих фотографии, найденные по похожести (similarity) и тексту (text). Иконки отображаются только в том случае, если пользователь загрузил картинку и ввел текст в поисковую строку.

Почему мы это внедрили? В одном из постов на Хабрахабр пользователь загрузил интересный вариант поиска на Picollator.

Пользователь заявил, что Picollator выдал «некорректные» результаты, распознав в мяче женщину. Но если обратить внимание, Picollator представил результаты как по картинке, так и по слову ball (смотрите поисковую строку). Как оказалось, женщину зовут Lucille Ball, и поисковик выдал такие результаты не по фотографии мяча, а по ключевому слову ball.

Нам стало очевидно, что необходимо каким-то образом помечать фотографии, найденные по схожести, найденные по тексту, найденные по схожести и тексту.

Было предложено следующее решение.

Картинки, найденные по похожести, помечаются иконкой «помидор». Картинки, найденные по тексту, помечаются иконкой «text». Фотографии, найденные и по тому, и по другому признаку, помечаются двумя иконками.

Поиск фотографий по текстовому запросу существенно отличается от поиска по загруженному изображению.

При текстовом поиске поисковик ищет соответствие вашему ключевому запросу в названии файла или альтернативном тексте к фотографии. При поиске похожих изображений фотография обрабатывается, не текст, а ее содержимое распознается.

Picollator ищет похожие лица. У пользователей возникает вопрос: я загрузила женскую фотографию, а поисковик выдал фотографии мужчин.

Ответ. Поисковик, работающий не с текстом, а с содержанием картинки, сканирует лицо и ищет похожие лица. Для него все лица – одного пола. Лицо – это объект. Так же как и в жизни мы определяем пол не по лицу, а по вторичным признакам, и даже мы иногда ошибаемся.

Мужчина может быть похож на женщину . Факт. Рассмотрим пример поиска по фотографии Джона Деппа, который так часто переодевается и гримируется.

Обратим внимание, что Picollator обозначил, что исходная фотография Деппа (слева, самая большая) похожа на фото женщины, смотрите справа внизу. И даже визуально мы видим, что они действительно похожи (ну я думаю для вас не секрет, что это Депп в гриме).

Итак, странно ли, что в ваших поисковых результатах на фотографию женщины выходят фотограии мужчин? Думаю нет.

В любом случае, мы будем работать над нашими алгоритмами, чтоб наиболее близко приблизиться к тайне человеческого лица.

Аудитория мобильного поиска растет из года в год. Аналитики исследовательской компании comScore M:Metrics сообщили, что за июнь 2008 года мобильным поиском воспользовалось 20,8 миллионов американских пользователей сотовых телефонов и 4,5 миллиона европейцев. Эти показатели на 68% и 38% соответственно выше данных июня прошлого года.

Практически все крупные поисковики имеют мобильную версию: Google Mobile, Live Search и Yahoo Mobile. Рунет также не отстает – мобильными версиями обладает Яндекс, Aport, Rambler.

Из новых проектов, стартовавших в рунете для мобильных устройств, – Picollator.mobi, проект компании Recogmission.

В чем отличие подхода к мобильному поиску Picollator?

Мобильный поиск – отдельная тема. В связи с особенностями ввода текста с мобильных устройств необходимо сделать способ подачи запроса наиболее удобным.

Именно поэтому Picollator.mobi, стартовавший весной 2008 года, позволяет пользователям просто загрузить изображение на сайт и искать по нему релевантную информацию.

picollator mobile search

Picollator.mobi работает с телефонами Nokia и коммуникаторами на базе Windows Mobile. В качестве браузера рекомендуется использовать Opera Mini