Спросить
Войти
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
УДК 004.6:311.2:311.213
Подход к интегрированной обработке открытых данных об инфраструктуре города
Голубев А. В., Парыгин Д. С., Финогеев А. Г.
Постановка задачи: поддержка принятия решений по управлению территорией города требует всестороннего анализа ситуации, который следует проводить с использованием объективной информации, характеризующей все составляющие элементы инфраструктуры, входящие в неё объекты и протекающие процессы. Однако необходимая информация в своей основе размещается в гетерогенных источниках, и, как следствие, ее использование требует разработки целого ряда решений для организации эффективного доступа. Целью работы является разработка комплексного подхода к обработке информации из гетерогенных источников, предоставляющих открытый доступ к данным об инфраструктуре города. Данный подход включает в себя взаимосвязанные процедуры сбора и предварительной обработки всего массива получаемых данных об объектах в городе из источников в сети Интернет. При этом источники классифицируются для применения соответствующих инструментов извлечения информации и организации многоуровневой системы ее хранения для целей последующего использования внешними сервисами. Используемые методы: решение многоуровневой задачи интеграции информации об инфраструктуре территории проводится с использованием методов интеллектуального анализа геопространственных данных, извлекаемых из сетевых ресурсов. Сбор данных реализуется с помощью алгоритмов извлечения данных с web-страниц (parser, grabber) и прямого доступа к API сервисов. Для предобработки изображений применяются подходы теории распознавания образов, в том числе, определения опорных точек и перцептивных хэш-алгоритмов. Извлечение дополнительных свойств объектов реализуется с использованием методов «Text Mining» и математической статистики. Новизна проведенного исследования заключается в разработанной модели интеграции разнородной информации и созданной на её основе последовательности обработки данных, реализующей принцип перекрывающего резервного хранения структурированной и исходной информации. Результаты: выделены ключевые источники информации о городской инфраструктуре, анализ которых позволил сформировать представление о структуризации данных об инфраструктуре территории и разработать модель их интеграции с учётом сквозной геопространственной привязки. В рамках реализации интеллектуального анализа геопространственных данных разработаны методы извлечения информации с сетевых ресурсов по объектам недвижимости, подход к сбору и обобщению данных с картографических сервисов, алгоритм извлечения дополнительных фактов об объектах инфраструктуры из записи на естественном языке на основе формальных грамматик, подход к валидации информации на основе сравнения изображений с помощью хэш-алгоритма, а также подход к определению схожести объявлений с использованием предложенной системы коэффициентов с помощью статистического анализа исходных данных по объектам недвижимости. Предложен подход к организации связанных файловых хранилищ и баз данных для хранения предобработанных, структурированных и исходных данных. Практическая значимость заключается в построении на основе разработанных подходов единой системы обработки информации, состоящей из модулей, реализующих операции парсинга онлайн-ресурсов и доступа к их API, анализа текстов на естественном языке, изображений и структурированных данных об объектах недвижимости и инфраструктуры города, а также создании SQL и NoSQL баз данных для хранения собранной информации наравне с ее размещением в виде файлов исходных данных.
Библиографическая ссылка на статью:
Голубев А. В., Парыгин Д. С., Финогеев А. Г. Подход к интегрированной обработке открытых данных об инфраструктуре города // Системы управления, связи и безопасности. 2018. № 2. С. 84-107. URL: http://sccs.intelgr.com/archive/2018-02/06-Golubev.pdf Reference for citation:
Golubev A. V., Parygin D. S., Finogeev A .G. The Approach to Integrated Processing of Open Data about the City Infrastructure. Systems of Control, Communication and Security, 2018, no. 2, pp. 84-107. Available at: http://sccs.intelgr.com/archive/2018-02/06-Golubev.pdf (in Russian).
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Введение
Актуальные данные о процессах в городской среде становятся одним из ключевых факторов обеспечения эффективного управления усложняющейся инфраструктурой расширяющихся урбанизированных территорий [1]. В условиях современных информационных технологий можно говорить о возможности получения данных, характеризующих состояния любых объектов. Благодаря встроенным системам «самоконтроля» технических объектов они сами способны накапливать и даже распространять информацию о своем состоянии [2]. Но более значимо, что благодаря развившимся системам сбора данных, источником информации становится не только техническая среда, но и вообще все процессы и состояния всех элементов сложных территориально-распределенных систем в городе [3, 4].
Работа с данными об инфраструктуре территорий в самом широком смысле выходит на новый уровень, становясь повседневным инструментом для обычных пользователей, а также базой для анализа ситуации и поддержки принятия решений для специалистов в долгосрочной перспективе [5]. Интеграция данных разных уровней и источников, обеспечение надежного доступа к ней и прозрачности представления является основой информированного устойчивого развития для целых городов [6].
В рамках данного исследования предлагается разработать модель интеграции разнородных данных, способную обеспечить унифицированное представление информации из гетерогенных источников, возможность расширения и настройки на новые источники, а также географическую привязку всех обрабатываемых данных. Кроме того, необходимо сформировать подходы к сетевому сбору открытых данных об инфраструктуре города, которые позволят реализовать технологии извлечения информации с онлайн-ресурсов.
Принцип открытости данных основывается на организации их свободного доступа для использования. Открытые данные должны распространяться максимально широко через общие каналы связи, преимущественно сети Интернет, и не содержать ограничений на обработку, в том числе, для коммерческих и любых иных целей [3].
С точки зрения контента, открытые данные в первую очередь связаны с информацией, распространяемой государственными и муниципальными органами власти в рамках концепции «Открытое правительство». Однако любые сведения, будь то база данных торговой компании о потреблении различных видов товаров или данные использования мобильной сети, могут укладываться
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
в концепцию открытых данных, если они не нарушают тайну личной жизни или коммерческую тайну [7].
Отдельной задачей является соблюдение некоторых правил в отношении формата распространения данных. Информация должна быть интероперабельной и поставляться в машиночитаемом виде, пригодном для использования в автоматических системах обработки [8]. Хотя в широком смысле, любые данные, передаваемые по сети, пригодны для машинной обработки, даже если они загружаются и создаются пользователями в «ручном» режиме, и лишь определяют сложность алгоритмов работы с ними.
С учётом обозначенных подходов в определении открытых данных, можно выделить ряд ключевых источников информации о городской инфраструктуре:
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Доступные данные об инфраструктуре городов имеют разные типы хранения. В связи с этим, первоочередной задачей является унификация представления данных пользователям. Однако такое единообразие в первую очередь основано на объединении данных различных источников, заключающимся в интеграции исходной информации.
В основе интеграции лежит комплексный процесс, включающий извлечение данных из гетерогенных источников, их преобразование к виду, пригодному для хранения в определенной структуре, и загрузку в соответствующую базу или хранилище данных. Для реализации этого процесса в рамках проводимого исследования, а также с учётом специфики геопространственной информации, был предложен подход к интеграции разнородной информации (рис. 1).
Разработке модели предшествовало изучение имеющихся данных и сферы их возможного применения. Городская среда является пространственно обусловленной композицией сложных территориально-распределенных систем. Каждая такая система состоит из некоторого набора обладающих присущими им внутренними свойствами объектов. Поэтому центральным понятием, описывающим любую структурную единицу городского пространства, был выбран «Объект».
Использование такой единицы, как «Объект» допускает максимальную функциональность аналитической работы с данными, имеющими географическую привязку. При этом можно выделить четыре основные конфигурации («Точка», «Периметр», «Набор» и «Линия») базовой единицы территории, определяющих пространственную вложенность и границы представления на картографической основе.
Конфигурация объекта в виде точки может быть стационарного, подвижного или событийного типа и представляется единичной парой координат. Стационарный точечный объект описывает расположение недвижимого оборудования или элементов инфраструктуры, производственные точки, точки на земле и т.п. Подвижный точечный объект характеризует временную локацию заведомо предназначенных к перемещению объектов, техники, транспортных средств, людей, др. Событийный точечный объект описывает привязку фактических новостных, информационных или тревожных сообщений о происшествиях, авариях, преступлениях, нарушениях процессов функционирования или обеспечения требуемыми ресурсами, др.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Рис. 1. Модель интеграции гетерогенных данных
Объекты в виде периметров описывают территориальные структуры, здания и сооружения. При этом территориальные или площадные структуры подразумевают, например, земельные ресурсы, зоны воздействия, населенные пункты, которые могут включать в себя и другие объекты разной конфигурации. «Сооружения» включают строения, не имеющие внутренних помещений или имеющие неэксплуатируемые внутренние пространства, главная ценность которых заключается в их целостном представлении, как то опоры ЛЭП, памятники, др. «Здания» являются объемными строениями с некоторым числом эксплуатируемых внутренних помещений, которые выделяются как самостоятельные вложенные или составляющие целое объекты.
Наборы точек описывают структурированные и хаотично размещенные на территории массивы объектов. Формализацией их представления являются кластеры, входящие в списки кластеров.
Линейные объекты описывают замкнутые, разомкнутые, пересекающиеся последовательности координат и другие структуры, одной из главных характеСистемы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
ристик которых является значение потока (ресурсов, людей, транспорта, др.), перемещающегося между связанными точками. Линии могут группироваться в сети. Примером таких конфигураций служат дороги, маршруты, линии электропередач, трубопроводы, коммунальные сети.
Каждый объект имеет собственные характеристики. «Характеристика» детерминируется значением, являющимся мерой состояния объекта, которое может изменяться с течение времени.
«Длительность» присуща всем характеристикам и определяется периодом реального времени. Для ряда характеристик такой период не будет иметь ограничений, обозначая постоянство конкретного свойства и указывая фактически на период существования самого объекта. При этом для характеристик процессов, значимых на протяжении некоторого промежутка времени, период их существования будет описываться начальным и конечным значением на шкале «дата-время».
Объекты любой конфигурации привязаны к местности через географические координаты. Справедливо также обратное утверждение, что каждая координата или группа координат являются некоторым объектом. Геокоордината всегда описывается парой «широта, долгота».
«Название» свойства является частью формализованного представления объекта в сети взаимовлияний. Так, например, «Правовая» характеристика определяет субъектно-объектный статус. Субъектность фиксируется правовым статусом индивидуальной или организационной принадлежности. В то же время для обозначения права собственности на объект справедливо применение характеристики, которая может обозначать постоянную или арендную имущественную принадлежность.
Предложенный подход к интеграции данных систематизирует хранение и формирует логику обработки разнородной информации о городской территории через ее пространственную привязку, определение ее места в структуре территории, указание временных и прочих характеристик. Созданная модель позволила перейти к разработке соответствующих инструментов для хранения получаемых из сети, извлекаемых и анализируемых данных различных открытых источников.
Актуальность данных и точность сведений об объектах, которые они характеризуют, влияет на качество сделанных на их основе выводов и принятых впоследствии управленческих решений. Наиболее эффективным является анализ информации из первоисточника - ресурса, который генерирует или агрегирует исходные данные. При этом оптимальная скорость получения и обработки данных может быть достигнута, если ресурс находится в доступе онлайн.
Анализ многочисленных источников информации в Интернете является трудоемким процессом. Уже на стадии сбора необходимых данных приходится реализовывать специализированные решения. Для некоторых сайтов и задач существуют стандартизованные самими владельцами ресурсов инструменты,
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
распространяемые в форме API. Это особенно удобно для задач сбора больших данных и широко распространено для крупных площадок, таких как социальные сети, поисковые системы, новостные порталы и др.
Однако регулярные решения не покрывают всех возможных задач. Для многих сайтов они вообще не предлагаются. В таком случае необходимо применять технологии парсинга, включающие поиск и извлечение искомых данных со страниц сетевых ресурсов. Парсинг позволяет автоматизировать процесс сбора контента в режиме реального времени.
В рамках проведенного исследования на практике были изучены возможности библиотеки BeautifulSoup и программной платформы (фреймворка) Scrapy [17]. Оба эти решения способствуют реализации полного цикла сбора данных с сетевых ресурсов, однако имеют отличия с точки зрения технологии их применения.
Так, можно говорить, что за относительную простоту реализации решений на основе BeautifulSoup приходится расплачиваться ограниченным функционалом. По факту, данная библиотека позволяет лишь анализировать загруженный HTML-код и извлекать из него информацию. В то время как Scrapy, полноценная и мощная платформа с множеством дополнительных функций. К примеру, в Scrapy есть своя библиотека «scrapy-proxies», которая позволяет отправлять HTTP-запросы с использованием случайного прокси-сервера из списка [17].
Примечание. Применить одно из изученных решений было предложено студентам второго курса специальности «Информатика и вычислительная техника» ФГБОУ ВО «Волгоградский государственный технический университет» (ВолгГТУ). Больше 80% обучающихся выбрали для реализации подход на основе библиотеки BeautifulSoup, что по итогам оказалось оправданным и позволило всем в отведенное время при работе с разными сайтами создать функционирующие прототипы программ для сбора данных.
Оценка применимости различных подходов к сбору открытых данных об инфраструктуре территории проводилась на основе анализа популярных ресурсов сети Интернет, содержащих информацию в формате объявлений об операциях с объектами недвижимости, таких как «Яндекс.Недвижимость», «Квад-рум», «Авито» и др. [18-27]. Отдельно были рассмотрены ведущие электронные торговые площадки России с информацией о выставленных в аукционных лотах объектах, такие как «РТС-тендер», «Сбербанк-АСТ» и др. [28-31], а также федеральный реестр данных по объектам недвижимости Росреестра [32].
Для каждого из выбранных источников была разработана структура данных, содержащихся в объявлениях и лотах. Рассматривались основные действия с недвижимостью (покупка или продажа, сдача аренду или найм) и типы объектов.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
По полученным видам объявлений была проведена полная детализация данных. Такая процедура проводился в целях согласования порядка сбора информации с сайтов-источников.
Сравнение показало, что для всех сайтов получились разные структуры данных по объектам. Поэтому было решено для каждого из источников разработать отдельный модуль по сбору данных об объектах недвижимости на языке Python на основе упомянутых выше библиотеки BeautifulSoup или фреймворка Scrapy.
Результаты исследований и разработки модулей позволили сформировать единую процедуру работы с подобными онлайн-площадками. Получившийся порядок сбора данных был обобщен в виде метода парсинга сетевых ресурсов по объектам недвижимости, состоящего из следующих этапов [17]:
Для получения комплексного описания объектов территории и организаций был разработан модуль сравнения данных картографических сервисов. В качестве источников входной информации использовались интерфейсы API картографических сервисов «Яндекс.Карты» и «Карты Google».
Собираемые данные обрабатывались согласно следующему принципу:
При этом сведения об организации, такие как номера телефонов, адреса, координаты, ссылки на официальные сайты приводились к общему виду. Так, для хранения адресной информации, был разработан единый нормализованный реестр. И каждая организация была отнесена к некоторой категории или категориям, соответствующим ее роду деятельности.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Получение данных об организациях с «Яндекс.Карт» возможно средствами компонента API «Яндекс.Организации». Сервис позволяет искать такие виды объектов, как дома, улицы, достопримечательности, кафе и другие объекты. Результаты поиска возвращаются в формате JSON или JSONP.
Средства API вводят ограничения на количество получаемых за один запрос данных (до 500 объектов) и общее количество запросов в сутки (всего до 500). Однако для оптимизации запросов возможно уточнение результатов за счёт ограничения области поиска в виде прямоугольной зоны, которая описывается угловыми географическими координатами, либо по радиусу вокруг точки поиска.
Поиск происходит как по имени организации, так и по ее категориям. Исходя из описанного механизма, было принято решение по использованию в качестве текстовых запросов имена категорий организаций, используемых в Яндекс. Например, для вывода перечня школ в городе Волгограде может быть использован следующий запрос:
https://searchmaps.yandex.ru/v1/?text=Общеобразовательная шко-лаЬЬох=44.10882555,48.41330622~44.68953248,48.8 8 72 04 4 4rspn=1type=bizresults=50 0lang=ru_RUa pikey=КЛЮЧ_API_ЯНДЕКСА "
Получаемый ответ в формате JSON состоит из нескольких разделов. В одном из них («features») находятся результаты поиска в виде вложенных объектов со сведениями об организациях, такими как название, адресная информация, перечень контактных данных, время работы, категории и т.д.
Получение данных с сервиса «Карты Google» в целом соответствует описанной выше процедуре для «Яндекс.Карт», включая, например, особенности ограничений на запросы. Итоги совместного сбора и сравнительной обработки данных обоих этих сервисов позволили отработать технологии получения ГИС-информации в виде, удобном для последующего комплексного исследования.
Статистическая информация и ведомственные открытые данные содержат коррелирующие по содержанию сведения и, зачастую, имеют идентичную организацию порядка доступа к ним. Большая часть данных Росстата, а также данные, выкладываемые министерствами и госорганами регионов распространяются в форматах «.csv», «.xml», «.doc», «.xls» и др. Некоторым недостатком такого способа подачи является необходимость организации централизованной выгрузки с сетевых ресурсов большого количества разрозненных файлов и их предобработки, включая разбор и объединение данных в требуемые для дальнейшей работы структуры.
Однако часть данных «Открытого правительства» концентрируется в рамках специализированных автоматизированных систем, имеющих, в том числе, доступ через сайты в сети Интернет. Такие ресурсы могут предоставлять доступ к данным с использованием API. У этого способа также есть свои особенности, в частности, ограничения доступности серверов и, как следствие,
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
скорости получения данных, а также внутренняя политика доступа к информации.
Исследование такого класса ресурсов проводилось на примере портала «Реформа ЖКХ» [33]. Доступность данных тестировался с помощью официального API сайта «Реформа ЖКХ», а также с помощью сторонних программ-парсеров. При этом применение технологии парсинга в целом аналогично описанному выше подходу и показало свою эффективность, например, для задач сбора информации о домах конкретного региона.
Примечание. Для целей комплексного анализа жилой инфраструктуры в городах России более технологичным является комплексное получение данных с помощью API «Реформа ЖКХ». При этом имеется возможность сразу получать информацию по управляющим организациям и многоквартирным домам (МКД) в их управлении, получать данные о реализации региональных программ по переселению и мониторингу реализации региональных программ капитального ремонта.
В рамках взаимодействия ВолгГТУ и «Реформа ЖКХ» было получено официальное разрешение на чтение данных автоматизированной системы с помощью ее API. Обмен запросами между разработанным программным инструментом извлечения данных и системой «Реформа ЖКХ» был организован с помощью GET и SET методов согласно регламенту автоматизированной системы. Это обусловило специфику получения данных в соответствии со структурой хранения и доступа в системе «Реформа ЖКХ», позволив при этом получить масштабные выборки сразу целиком по нескольким регионам.
Специфика данных о городской инфраструктуре требует учёта не только формализованных данных, представленных в структурированных выборках, но и информации от населения, получаемой зачастую в виде записей на естественном языке. Такая информация может оказаться наиболее подробной, проверенной и/или актуальной для конкретной ситуации.
Примеры таких данных об объектах инфраструктуры содержатся в не структурированном виде в пользовательских описаниях в социальных сетях и на тематических сайтах в объявлениях об операциях с недвижимостью. В связи с этим решалась задача по извлечению данных об объектах недвижимости из их описания в текстах на естественном языке. Соответственно необходимо было выбрать технологию семантического анализа содержащейся в них информации и разработать алгоритм её структуризации.
Анализ существующих решений показал соответствие технологии, реализованной в Томита-парсере, поставленным задачам извлечения структурированного описания (фактов). Вычленение фактов происходит при помощи контекстно-свободных грамматик и словарей ключевых слов. Парсер позволяет писать свои грамматики и добавлять словари для нужного языка [34].
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Разработанный алгоритм, учитывающий функциональные возможности Томита-парсера, позволяет организовать автоматизированное извлечение фактов из записи на естественном языке в соответствии с имеющимися формальными грамматиками. Полученная из записи информация структурируется. В качестве результатов обработки записей получается описание объекта с извлеченными из текста фактами [14].
При создании алгоритма извлечения описания объектов недвижимости были решены задачи по обработке структуры и состава данных в записях. В качестве входных данных было организовано получение предварительно обработанных записей без знаков препинания в виде текстовых файлов.
Анализ объявлений об операциях с объектами недвижимости показал отсутствие четкой структуры в записях. Поэтому было предусмотрено при отсутствии некоторых фактов сохранять значения по умолчанию для соответствующих им полей описания объекта.
При этом были выделены несколько ключевых фактов, для которых в любом случае необходимо обнаружить значения в записях, чтобы полученное описание объекта было пригодно для дальнейшего анализа. Такими фактами являются: «Адрес», «Цена», «Площадь», «Район города» и «Количество комнат». В итоге, для поставленных условий определения в текстах записей фактов, задача написания формальных грамматик Томита-парсера была успешно решена.
Вопрос валидации получаемых из сети данных неизменно возникает в процессе работы с любой информацией, а особенно свободно размещаемой пользователями. Речь идет о проверке одного из ключевых свойств информации - актуальности данных, получаемых из первоисточников. Так, например, часть объявлений об объектах недвижимости содержит заведомо поддельные сведения. Такие объявления размещаются в целях коммерческой рекламы, мошенничества или в результате халатного подхода к внесению данных. В связи с эти необходимо определять некоторые ключевые признаки, по которым можно было бы с определенной долей уверенности идентифицировать уникальность и достоверность каждого отдельного объявления.
Совокупность отдельных обозначаемых в объявлениях фактов об описываемом объекте недвижимости в тестовом формате может выступать в качестве валидационных признаков. Однако использование нескольких таких фактов в сочетании с проверкой оригинальности представленных в объявлении фотографий объекта недвижимости может оказаться более эффективным подходом. Наличие двух объявлений с одинаковыми фотографиями, но, например, различными контактами владельца или данными о состоянии описываемого объекта, является поводом для подозрений относительно подлинности одного из них. Соответственно, было решено в рамках данного исследования рассмотреть способы реализации процедуры сравнения изображений для применения в рамках единого процесса предобработки для валидации информации по объектам недвижимости.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
На данный момент существует значительное количество алгоритмов сравнения изображений [35]. Они отличаются друг от друга методами получения конечного результата. И данное исследование проводилось для рассмотрения нескольких из них: методов на основе «опорных точек» и перцептивных методов.
Было выбрано решение, основанное на подсчете хэшей сравниваемых изображений. Такое решение является более простым в реализации и быстрым в работе, чем разработки на основе вычисления опорных точек изображений. При этом степень достоверности получаемых результатов является довольно высокой [36], хоть перцептивные методы и уступают по точности методам на основе «опорных точек». В итоге хэш-метод позволил с достаточной точностью определять, являются ли фотографии, прикрепленные к каждому конкретному объявлению, копиями фотографий из других объявлений.
Фотографии из источников не хранятся в созданной системе для обработки данных с сетевых ресурсов. Доступ к ним реализуется по прямым ссылкам, получаемым в результате парсинга. Поэтому используемый подход к сравнению изображений удовлетворяет ряду требований и, в первую очередь, позволяет соблюдать условия по скорости обработки большого потока визуальных данных, получаемых непосредственно с сетевых ресурсов.
Кроме того, было учтено, что пользователи, размещающие ложные объявления, могут искажать прикрепляемые к ним оригинальные изображения с целью обеспечения их псевдо уникальности. Анализ обрабатываемых источников объявлений позволил выявить искажения типа размещения водяных знаков, цветокоррекции, обрезки, деформации и др.
Примечание. Тестирование вариантов алгоритмов хэш-семейства проводилось на выборке из 2150 изображений, полученных с сайтов «МирКвартир» [21] и «ЦИАН» [22]. Каждое из изображений подвергалось ряду основных видов искажения (поворот на 3 градуса, обрезка на 5%, цветокоррекция и зеркальное отражение). Результат каждого отдельного действия сравнивался с исходным изображением. При этом на каждом этапе сравнения задавалось различное расстояние Хэмминга между хэшами, при котором изображения признавались одинаковыми.
Результаты исследования позволили сделать вывод, что наилучшим вариантом для использования является алгоритм pHash с порогом сравнения от 0 до 15. Выбранный алгоритм дает наибольшее количество успешно распознанных случаев искажения при относительно небольшом числе ложноположительных совпадений для заданной строгости сравнения.
При решении задачи валидации данных об объектах инфраструктуры было решено не останавливаться на сравнительном анализе изображений. Кроме того, необходимо было по возможности точно выявлять источники не ложной, но дублирующей информации, общую корректность данных, а также их распределение при фильтрации по различным параметрам. С этой целью были исследованы методы статистического анализа.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Последовательность решения поставленной задачи включала следующие этапы:
- ссылки на изображения;
- описание;
- цена;
- данные владельца (номер телефона и ФИО);
- площадь;
- адрес (район, улица, дом, этаж);
- количество комнат;
- год постройки.
Определение схожести объявлений основано на предложенной системе коэффициентов, определяющих значимость параметров. Совпадение каждого из параметров двух объявлений увеличивает значение схожесть на определенную величину. Если схожесть будет выше определенного порогового значения, то объявления считаются одинаковыми и одно из них удаляется из выборки;
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Инструменты сбора данных сетевых ресурсов, а также предобработчики исходной информации являются поставщиками разнородных данных, требующих организации их хранения. Разнообразие поступающих данных различных форматов и способов получения информации определили необходимость гибридного подхода на основе совместного использования NoSQL и SQL решений, а также хранилищ сырых данных.
На рис. 2 показан разработанный подход к последовательной обработке исходной информации. Передача данных в процессе их сбора и предобработки происходит, согласно приведенной схеме, от центра к окраинам представленной окружности путем перетекания через смежные области, т.е. пересечение способов их хранения. При этом данные из открытых источников (OD) классифицируются по принадлежности к основным типам ресурсов.
Основным способом хранения данных этих ресурсов был выбран метод сохранения «сырых» данных (ЯС), получаемых после программ парсинга и сохраняемых в файлах различных форматов на дисковой системе. Эти данные не имеют чёткой формализованной структуры, но они должны соответствовать формату, который будет иметь машиночитаемый вид.
Отличительной особенностью этого вида хранения является отсутствие возможности получить быстрый доступ к нужному блоку данных. Однако эти данные могут иметь документоориентированный вид. Основными форматами хранения «сырых» данных были выбраны «.json», «.csv» и «.xml».
В соответствии с разработанной моделью интеграции разнородной информации, все собранные и сохраненные данные об инфраструктуре территории должны, так или иначе, быть приведены к единой структуре и сохранены в базе данных. Для этого полученная информация в большинстве случаев проходит различные виды предобработки на предмет выявления дополнительных свойств с помощью разбора естественного языка (TP) или математических методов (ММ), а также исключения дубликатов с помощью анализа изображений (ИЛ) или ММ.
Таким образом, «сырые» данные в основном являются промежуточной стадией между работой программ сборщиков и базами данных SQL или КоБрЬ вида. При этом в разработанных решениях для сбора данных из описанных далее источников, «сырые» данные используются для дублирующего резервного хранения одновременно с записью в базы данных.
Работа в автоматизированном режиме с государственными информационными системами определила необходимость использования NoSQL решения. При реализации выбор был сделан в пользу Мо^оСВ.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Рис. 2. Последовательность обработки данных (из центра к окраинам): OD - Open Data (от англ. «открытые данные»); #1 - онлайн-ресурсы и социальные сети; #2 - открытые правительственные данные; #3 - он-лайн-карты и ГИС; RD - Raw Data (от анг. «сырые» данные"); TP -Tomita Parser; HA - хэш-алгоритм; MM - математические методы
Такое решение обусловлено тем, что структура получаемых документов, например, с ресурса «Реформа ЖКХ» не имеет чётко выраженной структуры. При этом использование базы данных на основе NoSQL не накладывает ограничений на типы хранимых данных и позволяет добавлять новые типы в процессе работы.
Кроме того, необходимо было придерживаться методологии быстрой разработки приложений (RAD). NoSQL базы данных не нуждаются в том же объёме подготовительных действий, которые обычно нужны для реляционных баз. Однако и отказаться вообще от использования базы данных в этом случае было нельзя, так как требовалось обеспечить контроль получаемых от источника коллекций данных.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Несмотря на то, что NoSQL-базы удобны благодаря быстродействию и хорошей масштабируемости, для ряда задач выбор был сделан в пользу структурированных SQL-хранилищ.
Жёсткое определение порядка взаимодействия транзакций с базой данных позволяет уменьшить вероятность неожиданного поведения системы и обеспечить целостность данных. А чёткая структура конечного результата, например, в задаче сравнения данных нескольких картографических сервисов позволила подготовить прозрачную структуру для хранения предобработанных данных.
Выводы
Управление данными в аналитических задачах предъявляет особые требования к их качеству и подаче. Разработчики сложных программных систем хотят видеть на входе чёткие требования к интерфейсу API, которые позволят им организовать прозрачное и быстрое взаимодействие для доступа к «чистым» и качественным данным. Однако в основе технологичных пользовательских решений лежит огромный пласт работ с данными от их источников до хранилищ, включая рутинные процедуры сбора информации из сети в условиях постоянно меняющихся политик доступа, трудности переформатирования и извлечения знаний, исключительные требования по надежности сохранения.
В проведенном исследовании рассмотрен комплексный подход к интегрированной обработке открытых данных. Предложены решения, учитывающие всю последовательность шагов, которую необходимо выполнить для сбора данных из гетерогенных источников в сети Интернет и их многоуровневой предварительной обработки.
Разработанная модель интеграции разнородных данных об объектах инфраструктуры территории позволила реализовать компоненты представленной последовательности обработки информации. Взаимосвязанная система хранения данных в базах и файловых хранилищах создает условия для формирования структурированных массивов данных, пополняемых и восстанавливаемых по требованию из независимо сохраняемых исходных наборов.
Сбор и анализ неструктурированных открытых данных о городской среде, а также организация их хранение входят в число приоритетных задач, которые должны решаться в цикле постоянного улучшения. Описанные подходы и технологии способны стать основой многих инструментов, востребованных уже сегодня и набирающих свою популярность, в том числе, для реализации методов автоматизированной оценки недвижимости, интеллектуального анализа и оценки инфраструктуры городской территории с учётом большого количества факторов, прогнозной аналитики для организации процессов управления и много другого.
Исследование выполнено при финансовой поддержке РФФИ в рамках научных проектов № 17-37-50033 «мол_нр» и № 16-07-00388 «а».
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
пользователей и геоданных о городских объектах // Известия Волгоградского государственного технического университета. Серия: Актуальные проблемы управления, вычислительной техники и информатики в технических системах. 2017. № 8 (203). С. 13-17.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
References
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Technical University. Series Actual problems of management, computing hardware and informatics in engineering systems, 2017, no. 14 (209), pp. 41-46 (in Russian).
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Статья поступила 22 марта 2018 г.
Информация об авторах
Голубев Алексей Владимирович - соискатель ученой степени кандидата технических наук. Аспирант кафедры систем автоматизированного проектирования и поискового конструирования. Волгоградский государственный технический университет. Область научных интересов: машинное обучение; сбор, обработка и анализ данных; анализ больших данных; ГИС; геопространственные данные; eCity; Smart City; поддержка принятия решений; прогнозирование временных рядов. E-mail: ax.golubev@gmail.com
Парыгин Данила Сергеевич - кандидат технических наук. Доцент кафедры систем автоматизированного проектирования и поискового конструирования. Волгоградский государственный технический университет. Область научных интересов: город; информационно-коммуникационные технологии; геопространственные данные; моделирование; поддержка принятия решений; интеллектуальный анализ данных; Smart City; устойчивое городское развитие; управление социально-экономическим развитием города; местное самоуправление; управление муниципальными образованиями; урбанизация. E-mail: dpa-rygin@gmail .com
Адрес: 400005, Россия, г. Волгоград, пр. им. Ленина, д. 28.
Финогеев Алексей Германович - доктор технических наук, профессор. Профессор кафедры систем автоматизированного проектирования. Пензенский государственный университет. Область научных интересов: сенсорные сети; поддержка принятия решений; САПР; беспроводные технологии; беспроводные сети; SCADA системы; информационная безопасность; 3D моделирование; вирСистемы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
туальная реальность; расширенная реальность; мониторинг. E-mail: alexeyfino-geev@gmail.com
Адрес: 440026, Россия, г. Волгоград, ул. Красная, д. 40.
The Approach to Integrated Processing of Open Data about the City Infrastructure
A. V. Golubev, D. S. Parygin, A .G. Finogeev
Purpose. Support for decision-making on the management of the city requires a comprehensive analysis of the situation, which should be carried out using objective information that characterizes all the components of infrastructure, objects included in it and ongoing processes. However, the necessary information is placed in heterogeneous sources, and as a result, its use requires the development of a number of solutions for effective access organization. The purpose of the present paper is to develop a comprehensive approach to the processing of information from heterogeneous sources that provide open access to data on the city&s infrastructure. This approach includes interrelated procedures for collecting and preliminary processing the entire array of received data on objects in the city from sources on the Internet. At the same time, sources are classified for the use of appropriate tools for information extraction and organization of a multilevel storage system for the purposes of subsequent use by external services. Methods. The solution of the multi-level task of information integration about the territory infrastructure is carried out using methods of intellectual analysis of geospatial data extracted from network resources. Data collection is realized using algorithms for retrieving data from web pages (parser, grabber) and direct access to the services API. Approaches of the theory ofpattern recognition, including descriptions of reference points and perceptual hash algorithms are used for image preprocessing. Extraction of additional properties of objects is realized using the methods «Text Mining» and mathematical statistics. Novelty. Elements of novelty in the conducted research consists in the developed model of integration of the heterogeneous information and the sequence of data processing created on its basis, realizing the principle of overlapping backup storage of the structured and initial information. Results. Key sources of information on an urban infrastructure were identified. Their analysis allowed to form an idea of the structuring of data on the territory infrastructure and to developed an model of their integration taking into account a geospatial bind. Methods of information extraction from network resources for real estate objects, an approach to collecting and generalizing data from cartographic services, an algorithm for extraction of additional facts about infrastructure objects from a natural language record based on formal grammars, an approach to validation information based on image comparison using a hash algorithm, as well as the approach to determination the similarity of ads using the proposed system of coefficients with use statistical analysis of the initial data on real estate were developed in the framework of the implementation of geospatial data mining. The approach to organizing associated file storages and databases for store pre-processed, structured and raw data is proposed. Practical relevance. A single information processing system consisting of modules that implement operations of parsing online resources and accessing their APIs, analyzing natural language texts, images and structured data on real estate objects and city infrastructure has been realized and a complex of SQL and NoSQL databases to store the collected information on an equal basis with its placement in the form of source data files has been created on basis of the developed approaches.
Системы управления,связи и безопасности №2. 2018
Systems of Control, Communication and Security sccs.intelgr.com
Information about Authors
Alexey Vladimirovich Golubev - Doctoral Student. The postgraduate student of the Department of CAD. Volgograd State Technical University. Field of research: machine learning; collection, processing and analysis of data; Big Data analysis; GIS; geospatial data; eCity; Smart City; decision support; time series forecasting. E-mail: ax.golubev@gmail.com
Danila Sergeevich Parygin - Ph.D. of Engineering Sciences. Associate Professor at the Department of CAD. Volgograd State Technical University. Field of research: city; information and communication technologies; geospatial data; modeling; decision support; data mining; Smart City; sustainable urban development; management of social and economic development of the city; local government; management of municipalities; urbanization. E-mail: dparygin@gmail.com Address: Russia, 400005, Volgograd, Lenina Ave., 28.
Alexey Germanovich Finogeev - Dr. habil. of Engineering Sciences, Full Professor. Professor at the Department of CAD. Penza State University. Field of research: sensor networks; decision support; CAD; wireless technologies; wireless network; SCADA systems; Information Security; 3D modeling; virtual reality; augmented reality; monitoring. E-mail: alexeyfinogeev@gmail.com Address: Russia, 440026, Penza, Krasnaya Str., 40.
