Міжнародна дослідницька група розробила систему глибокого навчання, здатну виявляти стихійні лиха за допомогою зображень, опублікованих у соціальних мережах. Дослідники застосували інструменти комп’ютерного зору, які після навчання на 1,7 мільйонах фотографій виявилися здатними аналізувати, фільтрувати та виявляти справжні катастрофи. Стаття опублікована в журналі IEEE Transactions on Pattern Analysis and Machine Intelligence.
Одним із дослідників проекту, очолюваного Массачусетським технологічним інститутом (MIT), була Агата Лапедріза, керівник дослідницької групи AIWELL, що спеціалізується на штучному інтелекті для благополуччя людини, приєднана до Центру електронної охорони здоров’я та член Факультет комп’ютерних наук, мультимедіа та телекомунікацій в Університеті Оберта де Каталонія (UOC).
З прогресуванням глобального потепління природні катаклізми, такі як повені, торнадо та лісові пожежі, стають все більш частими та руйнівними. Оскільки досі немає інструментів, щоб передбачити, де і коли такі інциденти відбудуться, життєво важливо, щоб екстрені служби та міжнародні організації співробітництва могли швидко та ефективно реагувати, щоб врятувати життя. «На щастя, технології можуть відігравати ключову роль у таких ситуаціях. Пости в соціальних мережах можна використовувати як джерело даних із низькою затримкою, щоб зрозуміти прогресування та наслідки катастрофи», — пояснив Лапедріза.
Попередні дослідження були зосереджені на аналізі текстових повідомлень, але це дослідження пішло далі. Під час перебування в лабораторії комп’ютерних наук і штучного інтелекту Массачусетського технологічного інституту Лапедріза зробив внесок у розробку таксономії інцидентів і бази даних, яка використовується для навчання моделей глибокого навчання, а також провів експерименти для перевірки технології.
Дослідники створили список із 43 категоріями інцидентів, включаючи стихійні лиха (лавини, піщані бурі, землетруси, виверження вулканів, посухи тощо), а також нещасні випадки, пов’язані з певним елементом втручання людини (аварії літаків, аварії на будівництві тощо). Цей список разом із 49 категоріями місць дозволив дослідникам позначати зображення, які використовуються для навчання системи.
Автори створили базу даних під назвою Incidents1M з 1 787 154 зображеннями, які потім використовували для навчання моделі виявлення інцидентів. Серед цих зображень 977 088 мали принаймні одну позитивну мітку, яка пов’язувала їх з однією з класифікацій інцидентів, тоді як 810 066 мали негативні мітки класу. Тим часом, для категорій місць 764 124 зображення мали клас-позитивні мітки, а 1 023 030 були клас-негативні.
Уникнення помилкових спрацьовувань
Ці негативні позначки означали, що систему можна було навчити усувати помилкові спрацьовування; наприклад, фотографія каміна не означає, що будинок горить, навіть якщо вона має певну візуальну схожість. Після створення бази даних команда навчила модель для виявлення інцидентів «на основі багатозадачної парадигми навчання та використання згорткової нейронної мережі (CNN)».
Коли модель глибокого навчання була навчена виявляти інциденти в зображеннях, команда провела низку експериментів, щоб перевірити її, цього разу використовуючи величезну кількість зображень, завантажених із соціальних мереж, включаючи Flickr і Twitter. «Наша модель змогла використати ці зображення для виявлення інцидентів, і ми перевірили, чи вони відповідали конкретним, записаним інцидентам, таким як землетруси 2015 року в Непалі та Чилі», — сказав Лапедріза.
Використовуючи реальні дані, автори продемонстрували потенціал інструменту на основі глибокого навчання для отримання інформації з соціальних мереж про стихійні лиха та інциденти, що потребують гуманітарної допомоги. «Це допоможе організаціям з надання гуманітарної допомоги ефективніше дізнаватися, що відбувається під час катастроф, і покращить спосіб управління гуманітарною допомогою, коли це необхідно», — сказала вона.
Після цього досягнення наступним завданням може бути, наприклад, використання тих самих зображень повеней, пожеж чи інших інцидентів для автоматичного визначення серйозності інцидентів або навіть більш ефективного їх моніторингу з часом. Автори також припустили, що наукове співтовариство може продовжити дослідження, поєднавши аналіз зображень із супровідним текстом, щоб уможливити більш точну класифікацію. Джерело
