Якщо показати будь-кому якийсь знімок, людина легко опише, що на ньому зображено. Машини донедавна такого робити не могли. Але завдяки зусиллям науковців Microsoft та Університету Карнегі-Меллон комп’ютери навчилися розглядати фотографії так, як це робить людина.

Машини тепер зможуть відповісти на питання, що знаходиться між двома стільцями

Щоб навчити електронні системи аналізувати зображення, фахівці використали технології комп’ютерного бачення, глибокого навчання та розуміння мов. Завдяки цьому машини не лише змогли бачити об’єкти на фото та їхнє відношення один до одного, а й відповідати на поставлені питання. Розробники кажуть, що це досягнення є важливим на шляху створення штучного інтелекту та сервісів-помічників, які надають поради в реальному часі.

Машини з такими здібностями до аналізу зображення можна використовувати у найрізноманітніших задачах. Наприклад, вони можуть працювати в системі попередження для велосипедистів. Зчитуючи дані із змонтованої на рулі відеокамери, подібне рішення стежитиме за можливими перешкодами на шляху. При можливому зіткненні комп’ютер попередить про це велосипедиста та запропонує йому оптимальні дії.

Авторами такої системи розпізнавання є працівники центру Microsoft Research Deep Learning Technology Center Сяодон Хе (Xiaodong He), Лі Ден (Li Deng), Дзянфен Гао (Jianfeng Gao), а також співробітники Університету Карнегі-Меллон Зічао Ян (Zichao Yang) та Алекс Смола (Alex Smola).

Щоб машини змогли побачити зображення так, як це робить людина, їм потрібно декілька етапів. Наприклад, комп’ютеру можна показати таке зображення та запитати, що знаходиться в корзині на велосипеді:

Спершу машина повинна дізнатися, які взагалі об’єкти присутні на фото – велосипед, корзина, собака. Далі вона повинна встановити взаємне положення речей на знімку. Після цього комп’ютер дасть правильну відповідь: собака.

«Як люди, ми фокусуємося на тому, що потрібно для відповіді на такі питання, – каже Хе. – Ця система пропускає зображення через глибокі нейромережі, щоб встановити, які частини кадру важливі для відповіді на запитання».

«Ми використовуємо глибоке навчання на різних стадіях: для виокремлення візуальної інформації, для представлення значення питання звичайною мовою та для фокусування уваги на вузьких областях картинки для точнішої відповіді», – каже Ден.

Для людини виконати цей процес аналізу досить просто, але це значно складніше для машини. З глибокими нейронними мережами комп’ютерам вдається розуміти звичну мову та шукати відповідь на поставлене запитання.

«Це копіювання людської можливості фокусувати увагу, – каже Ден. – Цю технологію – моделювання людської поведінки для вирішення проблем – складно було уявити кілька років тому».

У своїй науковці описали свої досягнення, а також процес багаторівневого підходу до пошуку візуальних підказок на зображенні. За їхніми словами, це ще один крок на шляху до того, що комп’ютери розумітимуть складне оточення та природні мови.

Свою роботу вчені будували на основі попередніх досліджень, в яких вони навчали машини автоматично давати підписи зображенням. Це, за словами експертів, був важливий крок, адже створені людьми підписи мали зміст та стосувалися зображеного. Це допомагає навчити комп’ютер сприймати фотографії так, як це роблять люди.

«При описі фотографії комп’ютер у загальному вигляді розповідає про сцену, але він не знає, що важливо на ній чи що саме потрібно», – каже Хе.