Шукати фотографії – доволі складне завдання, адже, окрім самого її змісту, необхідно врахувати багато неформальних параметрів: яскравість кольорів, насиченість, чіткість тощо. Користувачі зазвичай не задають їх у своєму запиті, і тому пошуковики встановлюють їх на власний розсуд. Проте у Bing знають, що споживачам потрібна максимальна якість, тому намагаються знаходити саме такі зображення. Головний науковець Bing and Information Platform R&D доктор Йєн Педерсен (Jan Pedersen) розповів, як це вдається.

Два зображення на одну тему можуть виглядати по-різному. Ось наочний приклад професійного (верхнє) та аматорського (нижнє) фото:

Відмінності між цими знімками важко виразити формально, проте вони роблять одне фото привабливішим за інше. І саме від них залежить задоволеність користувача від роботи пошуковика.

Розуміння якості зображення
Споживачам важливо отримувати не просто релевантні відповіді на свій запит. Для них велике значення має якість пошукових результатів, і це особливо стосується фотографій. Для цього Bing застосовує декілька підходів, які дозволяють знаходити максимально привабливі знімки та відхиляти зображення низької якості.

Наприклад, коли споживач вводить у пошуковик рядок «фотографії Юньнаня» (мальовничий курорт в Китаї), він очікує бачити не тільки знімки за темою, але й такі, що захоплюють подих та дають чітке уявлення про регіон. На подібний запит Bing виводить такі результати:

Для порівняння, пошук зображень від Google переважно видає користувачу мапи цього регіону:

Розпізнавання об’єктів
Історично пошуковики працюють з інформацією в текстовому вигляді. Тому під час пошуку фотографії певного об’єкта вони спираються на зміст веб-сторінки. Однак цього іноді виявляється замало, і тому в Bing застосовують розпізнавання об’єктів. Завдяки цьому пошуковик знає, який саме об’єкт знаходиться на фото, яке місце він займає на знімку та його розмір. Наприклад, предмет може бути на задньому плані або він може займати незначну частину зображення. Ось три приклади, як Bing виділяє об’єкт на фото:

Розуміння кольору
Відтінки на фотографії є ще одним важливим сигналом, який дозволяє Bing визначати якість знімку. Наприклад, пошуковик Microsoft розрізняє, коли якийсь колір на знімку відноситься до об’єкта. Цю інформацію він потім використовує, щоб визначити, чи він відрізняється від фонових відтінків (та навпаки):

Використання фільтрів
Незважаючи на те, що у кожного власні критерії привабливості фотографії, Bing все одно допомагає знайти якісні знімки. Для цього користувачі можуть застосовувати різноманітні фільтри, щоб звузити коло пошуку. Споживачі можуть відсіювати фотографії за розміром, кольором, датою, композицією та навіть за типом ліцензії, під якою публікується знімок. Ось так виглядають пошукові результати з увімкненим чорно-білим фільтром:

Обличчя, плечі та тіла
Окрім усього, Bing дуже часто шукає фотографії людей. Наявна статистика свідчить, що користувачам потрібні знімки, де чітко видно, хто зображений на них. Тому Bing розпізнає обличчя, плечі та тіла, а також знаходить якісні фотографії людей, що особливо важливо для знаменитостей. Ось приклад подібної пошукової видачі з акцентом на обличчі:

А ось такі результати Bing надає при врахуванні плечей:

Розпізнавання стилю зображення
В інтернеті на однакову тематику можна знайти як фотографії, так і мальовані зображення. Пошуковий запит для них може бути однаковим, однак мета використання – різною. Перші, наприклад, підійдуть для фотоальбому, а другі – для створення вітальної листівки. Bing допомагає споживачам знаходити потрібний тип зображення завдяки відповідному фільтру. Ось так виглядають пошукові результати котиків у вигляді кліп-арту:

А подібну видачу можна отримати, якщо увімкнути фільтр ліній:

Ці та інші запити Bing використовує для тренування своїх моделей машинного навчання, які використовуються для знаходження зображення. Тому коли користувач отримує результати пошуку фотографій, перші з них є не лише релевантними, але й мають найвищу якість.

Поліпшення зображення з «розумним» обрізанням
Пошук фотографій на мобільних пристроях відрізняється від такого на ноутбуках та настільних ПК. Адже планшети та смартфони мають велике розмаїття розмірів екранів. Тому картинка, яка гарно виглядає на iPhone, може створювати інше враження на Surface.

Щоб зображення мало однакову візуальну якість на різних пристроях, необхідно підлаштовувати її до розміру екрана мобільного пристрою. Питання лише в тому, як це зробити, щоб зберегти кращу частину знімку. У Bing створили для цього технологію «розумного» обрізання, яка залишає важливе та прибирає зайве на знімку:

Наприклад, часто на фотографії головним об’єктом є обличчя людини, і тому функція «розумного» обрізання в Bing залишає його. Ось так вони виглядають з функцією «розумного» обрізання в Bing:

Ліпша якість мініатюр
Щоб прискорити пошук, Bing створює зменшені копії зображень, і від того, як вони виглядають, залежить загальне враження від отриманих результатів. Тому пошуковик Microsoft виконує ряд оптимізацій цих мініатюр. Серед них – поліпшений кодек та тонкі налаштування кожного компонента системи. Завдяки цьому користувачі Bing бачать зображення високої якості:

Для порівняння, пошук Google надає ось такі результати:

А ось так виглядають пошукові результати Bing без оптимізації якості:

Головне зображення
Згідно з дослідженнями, люди переглядають сторінку з лівого верхнього кутка та рухають очима вправо. Тому коли Bing упевнений, що знайдена ним фотографія максимально відповідає запиту користувача, він робить її вдвічі більшою за інших та розміщує в лівому верхньому кутку. У такому разі споживач побачить її першою:

До речі, «розумний» пошук у Windows 8.1 також працює на базі Bing. Останній шукає зображення з урахуванням загального кольорового тону обраної теми оформлення: