Нещодавно пройшла одна з історичних подій, результати якої передбачити було майже неможливо. Це референдум про незалежність Шотландії від Британії, який відбувся 18 вересня. Сторони мали рівні шанси, проте аналітик Microsoft Девід Ротшильд (David Rothschild), став експертом у передбаченні майбутнього, зміг правильно спрогнозувати результати і цієї події.

Девід Ротшильд уже довгий час займається передбаченнями різноманітних подій. Наприклад, у 2012 році він правильно назвав переможців виборів президента США у всіх штатах, крім одного. А цього року він правильно спрогнозував 21 з 24 переможців чергової кінопремії Оскар.

Біля дошки Міро Дудік (Miro Dudik) обговорює прогнози з колегами Девідом Ротшильдом (зліва) та Девідом Пенноком (David Pennock).

За три дні до голосування у Шотландії методика Девіда показала, що цей регіон залишиться у складі Великобританії з імовірністю 77,4%. Два дні потому впевненість експерта у такому фіналу зросла до 79,5%, а вранці в день голосування він підняв її до 84%.

Ротшильд продовжує вдосконалювати свої моделі передбачення, і приєднатися до нього може кожен завдяки новій інтерактивній платформі .

«Соціологічні опитування відстежують настрій людей, які в той час відповідають на питання, – каже Ротшильд. – Мої прогнози передбачають те, що трапиться у день виборів. Очевидно, настрій людей під час опитування є важливим компонентом для правильних прогнозів, однак не єдиним».

Проблеми репрезентаційних опитувань

Якщо взяти звичайне політичне опитування, тоді воно матиме всі необхідні докази, проте буде дорогим та довготривалим. Останніми роками центри опитувань для визначення вподобань виборців використовують випадкові телефонні дзвінки. Точність таких досліджень значно залежить від того, хто з людей дійсно піде на вибори. В еру мобільних телефонів та інтернет-сервісів проводити такі опитування стає ще складніше.

До своєї методики передбачення Ротшильд додає очікування виборця – це надійніша база, ніж запитувати про те, за кого вони голосуватимуть. «Так ми розширюємо базу, і учасники опитування відповідають так, ніби вони ще опитали 20 своїх друзів», – каже експерт.

Дослідник також регулярно вносить до своїх передбачень дані з ринків ставок – він їх використовував і для Шотландського референдуму. Окрім цього, Ротшильд, який має докторський науковий ступінь в економіці з бізнес-школи Вартона при Університеті Пенсильванії, додає необхідні статистичні поправки для максимальної точності прогнозів.

Свій підхід дослідник продемонстрував перед президентськими виборами 2012 року в США на основі опитування користувачів Xbox. Вони за 45 днів до голосування раз на день відповідали на питання. Одним з таких було: «Якби вибори проходили сьогодні, за кого б ви голосували?». Науковці також збирали базову демографічну інформацію: стать, національність, вік, рівень освіти, місце проживання, політичні вподобання тощо.

Результати показали, що більшість користувачів Xbox – молоді чоловіки. Це погана вибірка для стандартного опитування, проте вона підходить для методики Ротшильда. «Стандартне опитування розглядає учасника, як, наприклад, чоловіка з Нью-Йорка, – каже він. – Ми же дивимося на нього, як на чоловіка та як на людину з Нью-Йорка. Це дозволяє шукати або учасників-чоловіків, або мешканців Нью-Йорка.

Тому навіть хоча в дослідників Microsoft відчувався брак учасниць старше 65 років, серед власників Xbox були просто жінки та чоловіки старше 65 років. Були також інші учасники, які мали схожі характеристики з літніми жінками. Завдяки цьому інформація від майже 750 тис. ігрових приставок Xbox та 350 унікальних респондентів дала 176 тисяч демографічних комірок з різною комбінацією характеристик.

Маючи такий набір даних, дослідники зробили репрезентативну вибірку виборців, порівнявши її з екзіт-полами 2008 року. При наближенні виборів 2012 року вони використовували цю інформацію для щоденного оновлення своїх прогнозів.

«Ми не тільки досягли точності великих соціологічних компаній, – каже Ротшильд, – Ми також дістали багато прогнозів, які вони не могли отримати через те, що до нас люди повертались знову і знову».

Кожне передбачення, яке робить Ротшильд, використовує різні набори даних, які часто є комбінацією соціологічних опитувань, історичних результатів, ставок в інтернеті, статистики та відомостей користувачів. Наприклад, для фіналу бейсбольної ліги Major League Baseball, багато інформації стає доступно впродовж сезону. Для світового футбольного кубку World Cup її немає, тому науковець залучає дані від користувачів та доповнює їх історичними фактами про гравців, команди та їхні результати.

«Завжди чогось бракує, якоїсь інформації, яка потрібна, не вистачає. Тому ми проводимо багато цікавих експериментів, – каже Ротшильд. До останніх він відносить передбачення переможців Оскару чи спортивних змагань. – Я завжди розглядав це так, що будь-хто має певні обсяги даних про обрані речі, проте вони не користуються ними».

Звичайні опитування, за словами науковця, збирають відомості у випадкових людей. Вони також використовують прості методики збору інформації, а не моделюють наявні. Саме для цього можна залучити комп’ютер.

Ротшильд з колегами використовують свої знання в галузі машинного навчання для налаштування своїх моделей на історичних наборах даних. Вони також залучають поліпшені алгоритми для врахування багатьох змінних, разом з укомплектованістю штатів та тенденцією гравців переоцінювати довготривалі ставки.

Переосмислення соціальних досліджень

Запущена інтерактивна платформа Microsoft Prediction Lab містить усі поточні дослідження Ротшильда. На ній можна переглянути його прогнози, і деякі з них оновлюються в реальному часі – від спорту та розваг до політики та економіки.

Приклад інтерфейсу Microsoft Prediction Lab

«Ми створюємо інфраструктуру, – каже науковець, – Вона має бути неймовірно масштабованою, щоб відповідати на питання впродовж довгого часу».

Ротшильд бачить цю нову платформу як гарну лабораторію для дослідників та соціальний досвід для зацікавлених користувачів. Окрім поточних прогнозів, він також планує додавати результати кожних виборів у парламент та сенат США, а також губернаторських перегонів. Користувачі зможуть налаштовувати перегляд на сайті відповідно до свого географічного розташування та уподобань. Ідея в тому, щоб якомога швидше збирати дані та оновлювати їх.

«Важливо зайняти нейтральну сторону та не ставати на бік якогось типу даних», – каже Ротшильд. Сам він шукає будь-яку інформацію, яку можна додати у модель передбачення, чи то акції фондового ринку, кількість переглядів інтернет-сторінок або «гарячі» теми в соціальних медіа. Така колективна мудрість є суттєвим компонентом успішного прогнозу.

«Переосмисленням опитувань ми відчуваємо, що можемо відкрити новий спектр питань, на які раніше можна було відповісти через моделювання, – каже Ротшильд. – Від учасників опитування до методу збору відомостей – ми бачимо можливості інновації».

Такі зміни мають певні наслідки для індустрії опитувань. «Існує дві причини експериментувати з безімовірнісним опитуванням, – розповідає експерт. – По-перше, я твердо впевнений, що стандартні соціологічні дослідження досягнуть точки, коли відповіді та вибірка будуть настільки малими, що станеться щось погане. Тоді стандартний підхід повністю зруйнується, і завбачливо інвестувати в альтернативні методи. По-друге, навіть якщо такого не станеться, безімовірнісне опитування відкриє нові способи аналітики ринку, яку неможливо отримати стандартними засобами. З часом ми зможемо збирати дані так швидко, що очікувати декілька тижнів для стандартного опитування здаватиметься дивним».

Доступність такої інформації дозволить бізнесу приймати рішення про стратегічні інвестиції, наприклад, розміщення дата-центрів або фінансування.

«Ми зможемо, – каже Ротшильд, – збирати так багато інформації від користувачів, які приходять декілька разів, що відповідальні особи матимуть майже безкінечну кількість параметрів для відповіді на поставлені ними питання».

Такому майбутньому може зашкодити лише одне: розроблена Ротшильдом методика повинна довести свою точність. «Саме в цьому головна річ, – розповідає дослідник, – досягнути дочки, де швидка, коректна та ефективна аналітика така ж точна, як і її конкуренти. З цього моменту стандартні технології опитування стануть неважливими, оскільки їх витіснить безімовірнісний збір даних та прогнози».

Що стосується веб-ресурсу Microsoft Prediction Lab, то він є результатом спільних зусиль науковців Microsoft з Нью-Йорку, Редмонду та Індії. Великий вклад також внесли Міро Дудік, Девід Пеннок та лідер команди Гарі Шум (Harry Shum).

«Це справа спільних зусиль, – каже Ротшильд. – Більшість науковців можуть вивчати значно вужчі питання на обмежених наборах даних. Однак завдяки співпраці ми можемо поринути глибше, і це захоплює».