Додаток 3
до Положення про відкриті дані
Білгород-Дністровської міської ради
АУДИТ ДАНИХ
Аудит даних - це дослідження наявності, стану, форматів, процесів управління та використання даних, а також вироблення на основі отриманої інформації рекомендацій щодо покращення процесів роботи з даними, максимізації їх використання та розкриття потенціалу.
Аудит допомагає виявити дублювання зусиль розпорядників щодо збору та оприлюднення даних, виявляє проблемні ділянки, які потребують додаткової роботи, що дозволяє краще розподілити ресурси.
Проведення аудиту даних рекомендоване для якісного виконання Постанови Кабінету Міністрів України “Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних” №835 зі змінами та доповненнями, яка визначає перелік наборів, що обов’язкові до оприлюднення. Адже розпоряднику потрібно дослідити і зрозуміти, в якому стані наразі дані і що потрібно зробити, щоб налагодити процес оприлюднення необхідних наборів у форматі відкритих даних.
Для проведення аудиту даних потрібно:
Політична воля - керівництво органу влади, місцевого самоврядування підтримує аудит даних шляхом надання повноважень аудитору та зобов’язання співпрацювати з аудитором, спільно розробляти та впроваджувати рекомендації.
Аудитор - особа, група осіб, які мають необхідні навички роботи з даними, а також повноваження та доступ до даних розпорядників. Аудит даних може проводитись як силами працівників органів влади, місцевого самоврядування (бажано, щоб це були працівники ІТ-управлінь, департаментів, відділів, секторів, правники), так і за участі експертів ззовні. Аудит може проводитись однією чи кількома особами (оптимально, коли аудит проводить дві особи).
Співпраця та виконання - розпорядники повинні допомагати аудитору виявити дані та зрозуміти їх стан та потенціал, а також спільно розробляти рекомендації та їх втілювати на практиці.
Періодичність проведення аудиту визначається Порядком оприлюднення наборів даних, Планом дій з розвитку відкритих даних, але відбувається не рідше, ніж раз на три роки.
Організація аудиту даних
Для організації аудиту відповідальна особа, орган за відкриті дані або, у випадку створення, робоча група визначає, коли і де має відбуватись аудит, подає відповідні пропозицій з обґрунтуванням на затвердження керівництву. Відповідальним за організацію та проведення аудиту є відповідальний орган/особа за відкриті дані в органі виконавчої влади, місцевого самоврядування.
Першочергово орган виконавчої влади чи місцевого самоврядування, де відбуватиметься аудит визначаються у відповідності до переліку наборів даних, визначених Постановою Кабінету Міністрів України “Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних” №835, а також зважаючи на суспільний запит. Аудит даних згодом потрібно провести у всіх структурних підрозділах, підпорядкованих підприємствах, установах та організаціях.
Робоча група також пропонує вид аудиту даних, який буде використовуватись органом виконавчої влади, місцевого самоврядування.
Аудит даних буває трьох видів:
- Віддалений аудит. Інформація про стан та якість даних збирається від розпорядників даних через відповідні форми. Розпорядники заповнюють форму визначної структури (переважно, вона містить питання щодо того, які дані є у розпорядника, в якому форматі, частота оновлення тощо) і разом із прикладами наборів відсилають її аудитору для аналізу. На її основі аудитор робить аналіз даних і надає свої рекомендації. Такий формат аудиту не потребує особистого спілкування аудитора з працівниками, роботи з базами даних та опрацювання зразків наборів даних. Вказаний варіант аудиту потребує менше часу аудитора, однак не надає повної картини щодо стану даних.
- Контактний аудит. На основі затвердженої методології аудитор проводить попередньо роботу з дослідження роботи органу, де відбувається аудит, опитування працівників, досліджує бази даних, технології, дані безпосередньо у розпорядника, отримує зразки даних, самостійно заносить дані в форму з документування даних, аналізує і розробляє рекомендації. Вказаний формат аудиту потребує більших витрат часу аудитора, працівників органу, де відбувається аудит. Однак результати аудиту будуть більш реалістичні та враховувати специфіку роботи органу та “погляд зі сторони”.
- Комібнований аудит. Аудитор надає розпорядникам форми для заповнення і працює з ними безпосередньо. Після отримання форм від розпорядників, аудитор опрацьовує їх разом з отриманими під час контактного аудиту даними і розробляє на їх основі рекомендації. Варто, щоб в комбінованому аудиті віддалений і контактний аудит були розділені в часі. Контактна частина аудиту проводиться після отримання та опрацювання таблиць з документування даних. Комбінований аудит дає максимально повну картину, однак потребує багато часу аудитора та розпорядників.
Форма, час і масштаби проведення аудиту даних в центральному органі виконавчої влади, органі місцевого самоврядування визначаються розпорядчим документом (рішенням, розпорядженням, наказом), в якому повинні бути зазначені:
- Цілі та бажані результати аудиту даних.
- Терміни проведення всіх етапів аудиту.
- Перелік структурних підрозділів, державних, комунальних підприємств (органів), в яких передбачено аудит даних.
- Графік проведення аудиту даних з вказанням органу, де проводиться аудит, та контактної особи цього органу (у випадку контактного аудиту).
- Перелік осіб, які здійснюватимуть аудит даних (аудиторів).
- Повноваження аудиторів:
- отримувати посильну допомогу та підтримку від контактної особи органу, в кому проводиться аудит,
- мати доступ до всіх документів, баз даних, які є в розпорядженні органу, де відбувається аудит, переліку інформації, технологій та систем,
- мати можливість отримати зразки даних для опрацювання та аналізу,
- мати можливість проінтерв'ювати всіх працівників органу, де відбувається аудит, управлінців, ІТ-фахівців,
6. Обов’язки керівництва та працівників органів, де відбувається аудит:
- визначити контактну особу для проведення аудиту,
- довести до відома працівників процедуру аудиту та організувати першу зустріч із аудитором, на яких той матиме можливість донести мету проведення аудиту,
- надавати підтримку та допомогу аудитору в процесі аудиту,
- опрацювати та впровадити за можливості рекомендації за наслідками аудиту.
7. Процедура розгляду та впровадження рекомендацій за результатами аудиту даних.
8. Контроль за виконанням рекомендацій.
У випадку, якщо до аудиту залучені сторонні експерти, то з ними підписується окремий договір, який передбачає нерозголошенні інформації з обмеженим доступом, що була отримана під час аудиту (до прикладу, персональні дані).
Аудитор повинен мати базові знання щодо інформаційно-комунікаційних технологій, процесів управління даних, роботи з даними. Необхідним є знання чинного законодавства та ознайомлення з нормативно-правовою базою органів виконавчої влади, місцевого самоврядування.
Аудит даних органу виконавчої влади, місцевого саморядування займає 2-6 місяців в залежності від кількості органів, де відбувається аудит.
Аудитор здійснює аналіз діяльності органу, де відбувається аудит, документування даних, опитування працівників, аналіз отриманих даних та інформації, розробку та представлення рекомендацій.
Всі отримані під час аудиту дані заносяться в робочий документ, який є основою для написання рекомендацій. Робочий документ складається з описової частини, де на основі відповідей розпорядників формується опис ситуації з управління даними, а також з таблиці, де відбувається документування стану даних.
Етапи проведення аудиту даних
Планування аудиту
Під час планування аудиту відбувається визначення форми, органів, де відбувається аудит, часу, необхідного для проведення та хто буде проводити аудит. Після того, як всі організаційні моменти визначені, аудитор повинен дослідити роботу органу, де заплановано проведення аудиту, ознайомитись з контекстом та роботою органу і орієнтуватися в специфіці.
Для збору інформації про структурний підрозділ можна використати річні звіти, планові документи, статистичні звіти, офіційний сайт та інтранет, публікації в медіа, опубліковані дослідження тощо. Аудитор також досліджує, які типи наборів даних, в яких категоріях (наприклад, транспорт, здоров'я, демографічні показники) оприлюднюються подібними органами влади, місцевого самоврядування в інших містах, країнах. Це може допомогти під час обговорення того, які дані є в розпорядника. Аудитор аналізує і систематизує інформацію у робочому документі.
Підготовка триває протягом 5 днів та може зайняти більше часу в залежності від кількості розпорядників, де відбуватиметься аудит.
За можливості варто провести зустріч з представниками органів, де відбуватиметься аудит, з презентацією цілей та задач аудиту даних, як він проходитиме і що потрібно від розпорядників.
Документування даних
Цей етап передбачає роботу з розпорядником (віддалену чи персональну). В залежності від того, який формат буде обрано, аудитор працює над документуванням даних.
Документування даних включає дослідження наступних характеристик даних:
Identifier - Унікальний ідентифікатор, визначений аудитором для набору даних
Title- Назва набору даних
Creator - Розпорядник, відповідальний за набір даних
Contact - Засоби зв’язку з відповідальною за набір особою
Description - Короткий опис набору даних, включаючи просторові, часові та предметні показники
DateCreated - Дата, коли дані були зібрані чи створені
Purpose - Підстава (нормативний документ або інше) , чому і для чого ця інформація створена
Source - Джерело, звідки береться інформація в цьому наборі даних (якщо є)
Receiver - Отримувачі інформації (наприклад, вищий орган влади, якому розпорядник передає ці дані)
Updating frequency - Частота оновлення набору даних
Usage frequency - Частота використання даних
Public interest - Частота запитування інформації з набору у запитах на публічну інформацію
Relation - Опис зв'язків з іншими наборами даних, базами даних
Link - Якщо набір оприлюднено, то надати лінк
Format - Кінцевий формат даних (на цей момент)
Type - Кінцевий тип даних, відповідно до переліку, наведеному в Постанові № 835
Structure - Деталі структури набору даних (до прикладу, назви колонок в таблиці)
Documentation - Документація, яка доступнa щодо набору даних
Dictionary - Довідники, які доступні щодо набору даних
File size - Розмір набору даних (Мб, Гб)
Quality - Стан і якість набору даних
Database - Назва бази даних, де міститься інформація (якщо таке є)
Personal Data - Персональна інформація, яка міститься в наборі (якщо така є)
Back-up - Кількість копій набору даних, які наразі зберігаються, частота створення резервних копій і процедур архівування
Management to date - Права редагування, безпека, підтримка, оновлення
Requirements - Опис будь-якого спеціалізованого обладнання чи програмного забезпечення, необхідного для створення чи утримання набору даних
Competences - Компетенції, які потрібні відповідальним працівникам для роботи з даними
Отримані дані заносяться в таблицю. Приклад таблиці: http://bit.ly/audit_data_structure .
У випадку проведення віддаленого аудиту вказану аудитор надає таблицю контактній особі органу, в якому відбувається аудит, з роз’ясненням того, як її заповнювати. Якщо в органі, де відбувається аудит, є кілька структурних підрозділів, то контактна особа зобов’язана надати таблицю для заповнення в кожен підрозділ і потім зібрати отримані таблиці і передати на опрацювання аудитору.
В роз’ясненнях потрібно вказати перелік даних, які передбачені Постановою Кабінету Міністрів України “Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних” №835, якщо вони стосуються органу виконавчої влади, місцевого самоврядування та включити його до таблиці.
Контактна особа органу, де відбувається аудит, надає заповнені таблиці аудитору не пізніше 10 робочих днів з моменту їх отримання. Аудитор після перегляду надісланої таблиці (до прикладу, якщо дані, які, на думку аудитора, є у розпорядженні органу, не вказані) може звернутись до розпорядників за уточненням.
Можна організувати зустріч аудитора з працівниками органів, де відбуватиметься аудит. В результаті спільного обговорення, використовуючи метод “мозкового штурму” аудитор записує набори даних. Під час мозкового штурму аудитор може зосередитись на конкретній проблемі, наприклад, вирішення транспортних питань, і обговорити, які дані доступні, щоб допомогти вирішити цю проблему. Після цього потрібно надати представникам розпорядників заповнити таблицю. В таблицю можна додати дані, які були проговорені під час зустрічі. Розпорядники можуть зосередити увагу на наданні більш детальної інформації щодо цих наборів. Також попросіть їх включити будь-які інші набори даних.
Під час контактного аудиту даних аудит спілкується з працівниками органу та збирає інформацію про управління даними відповідно до затвердженого графіку та таблиці. Окрім інформації, які містяться в таблиці з документування даних, аудитор зважає на інформацію, яку він отримав під час підготовки до аудиту, в робочий документ заносяться власні спостереження.
Дані з таблиці для документування є основою для створення Реєстру даних органу виконавчої влади, місцевого самоврядування.
Розробка та представлення рекомендацій на основі аудиту
За результатами документування даних аудитор розробляє рекомендації. Основою для написання рекомендації є робочий документ та таблиці з характеристиками даних органу, де відбувався аудит. Термін розробки рекомендацій залежить від кількості органів, де проводився аудит і займають не більше 30 днів.
Рекомендації мають таку структуру:
- Загальна характеристика органу виконавчої влади, місцевого самоврядування (аудитор дає огляд нормативної бази щодо відкритих даних, стану управління даними загалом, грунтуючись на отриманій інформації під час аудиту та роботі з іншими джерелами під час підготовки до аудиту).
- Загальні рекомендації органу виконавчої влади, місцевого самоврядування (тут містяться поради щодо того, як на вищому рівні забезпечити якісне оприлюднення та використання даних).
- Рекомендації для кожного конкретного органу, де відбувався аудит з описом ситуації на момент аудиту і порадами щодо того, як оприлюднювати набори даних, скільки ресурсів потребує публікація наборів даних тощо.
- Додатки (за потреби, аудитор може розробити типову структуру для наборів даних, опис набору даних та запропонувати частоту оновлення).
Рекомендації, які складаються з описової частини та зведеної таблиці за результатами документування даних, надаються відповідальному органу/особі за відкриті дані для опрацювання.
Аудитор, спільно з відповідальним органом/особою за відкриті дані готують презентацію рекомендацій аудиту. Представлення результатів та рекомендацій аудиту може відбуватись (не виключно):
- Під час засідання робочої групи з запрошенням аудиторта та представників органів, де відбувався аудит.
- На спеціальній зустрічі за участю аудитора в кожному органі, де відбувався аудит.
- Надсиланням рекомендацій до виконання без особистих зустрічей з аудитором.
Публічна частина аудиту публікується на сайті органу виконавчої влади, місцевого самоврядування.
Рекомендації за результатами аудиту повинні бути представлені у вигляді звіту і надані на розгляд робочій групі з впровадження політики відкритих даних не пізніше ніж через 10 робочих днів з моменту завершення аудиту.
На основі рекомендацій відкритих даних членами робочої групи розробляється проект розпорядчого документу щодо першочергових дій з виконання рекомендацій, які є обов’язковими до виконання розпорядниками.
Відповідальний орган/особа за відкриті дані здійснює перевірку щодо впровадження рекомендації не пізніше, ніж через місяць після затвердження документу на виконання рекомендацій. За результатами перевірки розробляється звіт, який стає предметом розгляду чергового засідання Робочої групи. Робоча група приймає рішення щодо звернення до керівництва задля реагування на невиконання рекомендацій та вжиття необхідних заходів.
Звіт щодо впровадження рекомендацій публікується на сайті органу виконавчої влади, місцевого самоврядування відповідальним органом/особою.
Реєстр даних
Реєстр даних ведеться загалом по органу виконавчої влади чи місцевого самоврядування. За його адміністрування і оновлення відповідає відповідальний орган/особа за відкриті дані на основі даних, отриманих під час аудиту та, згодом, від розпорядників. Зміни до реєстру вносяться за мірою появи нових наборів даних чи внесення змін до набору даних, а також за результатами чергового аудиту.
Розпорядники публічної інформації зобов’язані повідомляти відповідальний орган/особу за відкриті дані про новий набір чи зміни до вже існуючого набору не пізніше, ніж через через п’ять робочих днів після його створення чи зміни. Те саме стосується зміни структури, формату набору даних, частоти оновлення, розпорядника даних. Відповідальна особа за відкриті дані вносить зміни до Реєстру даних за мірою надходження відомостей протягом трьох днів після надходження такої інформації від розпорядника.
Реєстр даних публікується на сайті та Єдиному порталі відкритих даних у форматі відкритих даних. Реєстр використовується розпорядниками для оперативного пошуку та використання потрібних даних, для комунікації з громадськістю щодо визначення пріоритетних даних до публікації.
Структура Реєстру наборів даних наступна:
Identifier - унікальний ідентифікатор набору даних
Title - назва набору даних
Description - короткий опис
DateCreated - дата створення набору даних
Format - формат набору даних
Type - тип набору даних, відповідно до переліку, наведеному в Постанові № 835
File size - розмір набору даних
Update frequency - частота оновлення набору даних
Link - посилання на набір даних, якщо він оприлюднений
Creator - назва розпорядника, відповідального за набір даних
Contact - засоби зв’язку з відповідальним
Реєстр даних складає основу для формування Переліку наборів даних для оприлюднення, визначення пріоритетних наборів для оприлюднення.