Комп’ютери навчилися робити те, що довгий час було притаманно лише людям. Дослідники Microsoft Research створили алгоритми, які дозволяють машинам описувати зображені на фотографіях об’єкти та пояснювати, що вони роблять. З такою розробкою штучний інтелект, який вміє бачити, чути та розуміти, стає ближчим.

«Машину навчили розуміти зображення так, як це робить людина», – пояснює дослідник центру машинного навчання Microsoft Research Сяодонг Хе (Xiaodong He). Наприклад, коли комп’ютеру показують зображення людини за ПК, його система розпізнавання може зрозуміти, що необхідно зосередитися на людині, а не на ПК. При цьому завдяки наявності бороди та вусів алгоритм зможе сказати, хто на фото: чоловік чи жінка.

Робота над подібними системами розпізнавання ведеться вже кілька десятиліть. Однак довгий час дослідникам не вдавалося вирішити це завдання. Прогрес відбувся в останні кілька років, каже дослідник Microsoft Research Маргарет Мітчелл (Margaret Mitchell).

Прорив стався після залучення нейронних мереж – обчислювальних елементів, які працюють за тими ж принципами, що і людський мозок. З такою технологією системам розпізнавання зображень вдалося підвищити свою ефективність та робити менше помилок. «Завдяки нейронним мережам ми перейшли від повної непрацездатності до ефективної роботи», – пояснює Мітчелл.

Автоматичне розпізнавання зображень ще далеке від ідеальних результатів, але цей напрям швидко став популярним. Ним займаються експерти з університетів та лабораторій у всьому світі, які намагаються розробити найкращий алгоритм.

Вони регулярно змагаються між собою, і одним з останніх таких конкурсів був MS COCO Captioning Challenge 2015. Створені алгоритми спершу конкурують між собою, а наприкінці їхні результати оцінює комісія журі.

Усі учасники конкурсу MS COCO Captioning Challenge 2015 використовують набір зображень під назвою Microsoft COCO, який створили дослідники Microsoft та інших наукових установ.

Алгоритм Microsoft навчили автоматично розпізнавати зображення у декілька кроків.

1. Він підбирає слова, які можуть з’явитися в описі картинки. Цю функцію виконує так звана конволюційна нейронна мережа. Її тренували на великому масиві зображень та описів до них, тому ця система навчилася розпізнавати основні кольори на фото, форми об’єктів та інші параметри. Людський розум використовує майже такий самий алгоритм для розпізнавання зображень.

2. Далі алгоритм використовує мовну модель, щоб вибрати зі створеного масиву слів ті, які ліпше підходять для опису картинки. «Важливою частиною є те, що мовна модель генерує текст на основі зображення», – говорить Джоффрі Цвейг (Geoffrey Zweig). Він очолює групу в Microsoft Research, яка займається дослідженнями мови.

3. На останньому етапі система створює таблицю, в якій проставляє бали семантичного зв’язку слів із зображенням, після чого обирає із неї рядки із найбільшими значеннями.

Технологія продовжує розвиватися, і дослідники бачать багато можливостей використання подібних інструментів на шляху створення штучного інтелекту зі здатністю до розумної поведінки. «Ми хочемо приєднати зір до мови для того, щоб мати інструменти штучного інтелекту», – пояснює Мітчелл.

На думку Хе, подібні технології можуть слугувати фундаментом для створення більш розвиненого штучного інтелекту. Наприклад, такого, який зможе бути постійно поряд із користувачем, навчатиметься разом з ним та допомагатиме йому в повсякденних речах. «Зараз ми маємо оптимістичне ставлення щодо можливостей реалізації подібних технологій», – каже експерт.