Воскресенье, 11 декабря 2016 года

Инструмент для очистки данных поможет улучшить модели прогнозирования

Реклама

Исследователи из Колумбийского и Калифорнийского университетов разработали интерактивную систему для очистки крупных пакетов информации.

Специалисты утверждают, что подобные структуры полны недействительных данных, что приводит к созданию некорректных моделей прогнозирования, используемых в финансовой, здравоохранительной и других сферах. Программисты из Колумбийского и Калифорнийского (Беркли) университетов постарались решить эту проблему за счет нового инструмента по очистке данных. Система, описанная в статье eurekalert.org, получила название ActiveClean. Она анализирует модели прогнозирования и решает, какие ошибки редактировать в первую очередь, одновременно обновляя ее в процессе работы. Пользователь видит улучшение с каждым циклом.

Команда представит свой проект в Нью-Дели 7 сентября в ходе конференции по вопросу очень больших баз данных. Сегодня подобные структуры часто объединяются и редактируются вручную, с помощью программ, вроде Trifacta, Google Refine или специальных алгоритмов, выполняющих конкретные задания. Процесс потребляет до 80% рабочего времени аналитиков, действия которых основываются на догадках.

«Поможет ли это модели или навредит? Вы не знаете, — сказал Евгений Ву, участвовавший в исследовании. – Ученые либо вычищают все данные, что невозможно в больших базах, либо удаляют случайные пакеты и надеются на лучшее».

ActiveClean старается минимизировать подобные проблемы, исключая человеческий фактор на наиболее важных этапах. Используя машинное обучение, инструмент анализирует структуру модели, чтобы понять, какого типа ошибки навредят ей сильнее всего. Программа обрабатывает эту информацию в первую очередь. Она уменьшает ее приоритет и удаляет столько данных, чтобы пользователь был уверен в точности своей модели. Авторы выложили программу в сеть для бесплатной загрузки.

Ошибка в тексте? Выделите ее мышкой! И нажмите: Ctrl + Enter
Обсудить новость и добавить комментарий

Актуально сейчас

07 : 13
Смотреть онлайн Вильярреал — Атлетико М 12.12.2016: прогноз и ставки на матч Ла Лиги
07 : 11
Смотреть онлайн Челси — Вест Бромвич 11.12.2016: прогноз и ставки на матч АПЛ
07 : 03
UFC 206: Джордан Мейн — Эмил Мик
06 : 56
Челси — Вест Бромвич смотреть онлайн прямая трансляция 11 декабря 2016
06 : 42
Дом 2 новости онлайн 11.12.2016: Рустам Солнцев высказал свою версию назначения интимных фото и видео Бузовой. Фото Ольги Бузовой
06 : 05
Дом 2 утренний выпуск 11.12.2016: Ксения Бородина поделилась секретом приобретения игрушек детям к Новому году. Фото плюшевых игрушек
05 : 58
Онлайн трансляция Ливерпуль — Вест Хэм 11.12.2016: прогноз и ставки на матч Премьер-лиги Англии
05 : 55
UFC 206: Никита Крылов — Миша Циркунов
05 : 50
«Челси» — «Вест Бромвич Альбион» смотреть онлайн 11.12.2016: прогноз, ставки, составы, прямая трансляция
05 : 44
Прямая онлайн трансляция Манчестер Юн — Тоттенхэм 11.12.2016: прогноз и ставки на матч Премьер-лиги Англии
: новости сегодня
05 : 55
UFC 206: Никита Крылов — Миша Циркунов
05 : 50
«Челси» — «Вест Бромвич Альбион» смотреть онлайн 11.12.2016: прогноз, ставки, составы, прямая трансляция
05 : 44
Прямая онлайн трансляция Манчестер Юн — Тоттенхэм 11.12.2016: прогноз и ставки на матч Премьер-лиги Англии
05 : 42
Прямая трансляция Торино — Ювентус 11.12.2016: прогноз и ставки на матч Серии А
05 : 38
Торино — Ювентус смотреть онлайн прямая трансляция 11 декабря 2016
05 : 28
«Торино» — «Ювентус» 11.12.2016: смотреть онлайн, прогноз, ставки, составы, прямая трансляция матча
05 : 20
Смотреть онлайн «Ливерпуль» — «Вест Хэм» 11 декабря: прогноз. ставки, составы, прямая трансляция
05 : 13
Ливерпуль — Вест Хэм смотреть онлайн прямая трансляция 11 декабря 2016
05 : 10
Манчестер Юнайтед — Тоттенхэм смотреть онлайн прямая трансляция 11 декабря 2016
05 : 07
Гороскоп на 11 декабря для всех знаков Зодиака
04 : 53
Ученые доказали существование жизни в космосе
04 : 51
«Дом-2″ новости и слухи сегодня, 11.12.2016: на 6 дней раньше скандальные новости и сплетни «Дом-2″ 11 декабря
- все новости