ИИ научился предсказывать уровень безработицы в США по соцсетям
Исследователи из Нью-Йоркского университета, Оксфордского университета, Всемирного банка и Университета Бен-Гуриона разработали ИИ-систему, способную прогнозировать уровень безработицы в США за две недели до публикации официальных данных. Результаты исследования опубликованы в журнале PNAS Nexus.
Авторы создали модель JoblessBERT, обученную выявлять сообщения в социальной сети Twitter (X), в которых пользователи сообщают о потере работы. В отличие от традиционных методов, основанных на поиске конкретных фраз, нейросеть распознает разговорные выражения, сленг и опечатки. Это позволило выявить в 13 раз больше пользователей, потерявших работу, при сохранении высокой точности.
Поскольку аудитория Twitter не отражает структуру населения США в целом, исследователи компенсировали этот перекос, определяя возраст, пол и местоположение пользователей по фотографиям профилей и корректируя данные на основе результатов переписи населения.
Модель была протестирована на данных за 2020-2022 годы, включая период пандемии коронавируса. В частности, в марте 2020 года, когда число заявок на пособие по безработице за неделю выросло с 252 тысяч до 2,9 млн, традиционные прогнозы в среднем составляли около 327 тысяч. JoblessBERT за два дня до окончания отчетной недели спрогнозировала 2,66 млн заявок.
В среднем на двухнедельном горизонте прогнозирования точность JoblessBERT оказалась на 54% выше традиционных методов на национальном уровне и на 36% - на уровне штатов. Система также способна работать на уровне отдельных городов и восполнять пробелы в официальной статистике там, где данные публикуются нерегулярно.
Авторы отмечают и ограничения подхода: исследование базировалось только на англоязычных публикациях, а с 2023 года доступ к данным Twitter был существенно ограничен. Тем не менее, по их мнению, метод может быть адаптирован для других платформ и языков, что особенно важно для развивающихся стран с ограниченными возможностями оперативного сбора данных о рынке труда.
