На заході від Стенфордського університету знаходиться найдовший у світі будинок – прискорювач часток SLAC National Accelerator Laboratory. Із моменту відкриття в 1960-х і до сьогодні він допомагає вченим шукати нові ліки, нові матеріали та «зелену» енергію. Це складна робота, яку науковцям пришвидшив інтернет речей, адже з «розумними» датчиками та обладнанням прискорювач працює майже безперервно.

За 50 років роботи у SLAC зробили багато наукових відкриттів, а шість дослідників, які працювали в ньому, отримали Нобелівську премію. Окрім цього, науковці опублікували на основі отриманих на цьому прискорювачі даних більше 1000 статей. Сьогодні SLAC працює на Департамент енергії США, який використовує його найпотужніший у світі рентгенівський лазер та вивчає важливі наукові дані.

Бактерія потрапила під випромінювання лазера

«Оскільки лазер має працювати цілодобово щодня, його можна порівняти з комунальними послугами, – розповідає менеджер з інструментів та контролю SLAC Facilities and Operations Маркус Кінан (Marcus Keenan). – Дослідники приїздять із різних куточків світу та чекають роками, щоб отримати до нього доступ. Вони можуть мати одну-дві спроби на виконання своєї роботи».

Час для роботи з таким обладнанням виходить дуже цінним, і якщо воно виходить з ладу, зупиняється науковий прогрес. Якщо все працює, тоді хтось з дослідників може зібрати достатньо даних для наукового прориву. Коли ж обладнання зупиняється, тоді їм часто доводиться починати роботу заново.

Обслуга SLAC уже стала злагодженою командою, але вона не може впоратися з несподіваними ситуаціями. Тому сьогодні активна робота цього рентгенівського лазера можлива 95% часу, а декілька разів на рік він зупиняється на плановий ремонт.

Щоб збільшити термін безперервної роботи, підрозділ обслуги SLAC впровадив інтернет речей. Для цього він розробив план зі збору інформації від різноманітних «розумних» сенсорів цього лазеру та її пересилання до «хмари». Після аналізу даних інженери отримують практичні прогнози щодо роботи вузлів та можуть ужити заходів завчасно.

«Це пояснює значення інтернету речей та машинного навчання для SLAC, – розповідає директор з інформації SLAC Джеймс Вільямс (James Williams). –Інтелектуальні системи попереджують нас про проблеми раніше, ніж ми помітимо їх у ручному режимі. Це відповідає стратегії нашої лабораторії – постійно знати стан обладнання для максимального наукового результату».

Для втілення нового підходу Кінан співпрацює з головним архітектором обчислень SLAC Маянком Маліком (Mayank Malik) та архітектором з рішень SLAC Джеррі П’єрре (Jerry Pierre).

Небачений контроль параметрів

На роботу наукового лазера впливають не тільки поломки. Злагоджену щоденну роботу цього трикілометрового 50-річного обладнання також важко забезпечувати. Для цього установка оснащена відповідними системами з десятками тисяч сенсорів, мета яких – досягнути максимально чистих експериментів. Це важливо, адже деякі досліди генерують до 3,5 гігабайтів даних на секунду. І науковці спираються на отриману інформацію, яку вони оброблюватимуть протягом наступних років. Тому такі дрібниці, як напруга й температура, не повинні вплинути на інтерпретацію отриманих даних та звести нанівець зусилля науковців.

Для цього в диспетчерській кімнаті відстежують багато параметрів систем, які обслуговують обладнання: розподіл потужності, контроль процесів, температуру, автоматизацію тощо. Наприклад, робітники стежать за 350 лічильниками енергії, кожен з яких будує прогнози для 100 параметрів.

«Загалом ми маємо сотні тисяч пристроїв, які так чи інакше залучені до контролю за установкою, – каже Кінан. Багато з них критичні, адже від початку та до кінця потрібно мати енергію. Але в процесі можуть відбуватися різні речі».

Лабораторія інсталює ще більше сенсорів, щоб мати точніший контроль за подіями в лазері та системах обслуговування. Це процес, який ніколи не зупиняється, і оператори щодня проходять систему за системою, дивлячись на 10-20 графіків із прогнозами в пошуках відхилень. Він залежить від навичок оператора та його знань і добре підходить до машинного навчання.

Галерея електронних трубок лазера поряд з кампусом Стенфордського університету

«Встановлення порогових рівнів для десятків тисяч параметрів – це не вихід для нас, – розповідає Кінан. – Потрібні роки, щоб все налаштувати. Якщо ми встановимо надто жорсткі параметри, буде багато помилкових спрацювань. Якщо ми їх пом’якшимо, можемо пропустити реальну тривогу».

Розумний підхід

Обсяги згенерованих сенсорами даних приголомшують інженерів, які працюють у ручному режимі, але дозволяють SLAC безперервно працювати. Нещодавно цей науковий лазер отримав оновлену систему охолодження електронних трубок. Разом із Microsoft Open Technologies команда SLAC використала ресурси проекту з відкритим кодом ConnectTheDots.io для інтеграції даних від масиву розрізнених сенсорів у «хмару» Azure Event Hubs. Ця інформація потім упаковується та пересилається до системи Azure Machine Learning для аналізу майже в реальному часі.

«Найперше, що нам потрібно, – отримати корисні висновки з даних, які ми вже збираємо, – розповідає Кінан. – Ми роками їх збирали, але скільки користі ми з них могли отримати?»

Дані від системи охолодження проходять через алгоритми, які виявляють відхилення. Це дає операторам точку відліку для нормальної роботи та збоїв у різних умовах. Інженерам уже не потрібно переглядати вручну сотні графіків, щоб виконати роботу, яку за них роблять системи машинного навчання. Це дозволяє операторам фокусуватися на виявлених системою проблемах.

«Перевага в тому, що алгоритми можуть одночасно аналізувати всі дані та повертати нам готовий результат, щоб ми могли діяти, – каже Кінан. – Цей маленький тест системи охолодження електронної трубки працює».

Усередині прискорювача часток SLAC

Прикладом переваг нової системи може бути нещодавній збій насосу. «У нас відмовив насос, – каже Кінан. – Система вимкнулася, як і лазер». Інженери переглянули дані і побачили, що двома днями раніше з’явився індикатор цього збою – аномалія, яка згодом повернулася в норму.

«Я взяв ці ж дані та передав їх до сервісу Azure ML, і алгоритм відзначив аномалію, – каже Кінан. – У такому сценарії ми б змогли вжити заходів щодо розслідування проблеми та її усунення».

Від передбачень до попереджень

Можливість бачити проблеми перед їхньою появою – це лише початок. Кінан каже, що SLAC може працювати ефективніше та ремонтуватися тоді, коли потрібно, а не через регулярні інтервали, навіть коли це непотрібно.

Ще одна проблема перед інженерам – це різноманітне обладнання, яке встановили за 50 років роботи цієї лабораторії. При цьому сьогодні вже неможливо сказати, яка система від якої залежить. Відсутність цього розуміння може призвести до подальших збоїв та проблем із безпекою.

«Щось може трапитись на відстані у два кілометри, а вплине це на апаратуру, що знаходиться на трьох кілометрах, – каже Кінан. – Чим краще ми розуміємо зв’язки між компонентами, тим ефективніше ми можемо виділяти ресурси та планувати оновлення. Машинне навчання грає в цьому головну роль».

Довгострокова мета команди SLAC – широке розгортання машинного навчання для мільйонів контрольних точок систем. Сюди також входять дані з управління та стеження за самим лазерним променем. Система має розуміти умови та передбачати аномалії з дедалі більшою точністю.

«Кінець буде тоді, коли оператори працюватимуть над аномаліями та постачатимуть аналітичні дані алгоритмам, щоб ті з’ясували їхні причини, – каже Кінан. – Це переводить операторів на роль учителів та звільняє їх від боротьби за розуміння того, що відбувається, та реагування на це».

У такий спосіб, за словами Кінана, його команда навчиться слухати машини та навчить їх спілкуватися. «Це кінцева мета, – говорить він. – Машини розповідають нам свої симптоми перед майбутніми проблемами».