Архів Trassir. Невелика стаття про те, як експортувати архів із камер відеоспостереження у програмі Trassir Client. Для експорту архіву необхідно виділити (мишкою) ту камеру (комірку), з якої хочемо завантажити архів. Потім клацнути правою кнопкою миші і в контекстному меню вибрати експорт архіву.
Архів Trassir
Експортувати архів можна в високій якості і в субпотоці. Субпотік краще, тому що завантаження файлу буде набагато швидше в порівнянні з найвищою якістю.
Після цього відкривається вікно для налаштування архіву. Тут ми маємо вибрати дату та час, який хочемо скачати. Вибираємо дату і час початку та кінця. Проміжок цього часу і буде завантажено та експортовано. Якщо камера вела запис зі звуком, уважно дивимося на налаштування. При виборі деяких налаштувань звук не експортуватиметься. Далі тиснемо ЕКСПОРТ.
Експорт архіву в Trassir
У лівій частині вікна розташовані налаштування, призначені для створення списку каналів, фрагменти з яких потрібно експортувати. При цьому створений список Фрагменти для експорту дозволить зробити експорт одного або декількох фрагментів архіву. Для формування списку можна використовувати такі кнопки:
Натиснувши кнопку Завантажити історію програвання архіву ви додайте до списку канали, архіви яких були переглянуті перед викликом експорту архіву.
Кнопка Очистити історію призначений для очищення історії перегляду архіву.
Натиснувши кнопку Завантажити фрагменти попередньої сесії у список каналів буде завантажено фрагменти, які використовувалися у попередній операції експорту.
За допомогою кнопок і ви можете перемістити вибраний фрагмент архіву в списку, визначивши його положення в експорті.
Щоб додати канал до списку або видалити з нього, натисніть, відповідно, кнопки і .
За потреби задайте додаткові параметри експорту:
- Встановити прапор Поєднати всі фрагменти в один .AVI файл щоб усі вибрані фрагменти архіву об'єднати в один файл. При цьому всі настройки, описані нижче, будуть застосовуватися відразу до всіх фрагментів архіву.
- У групі налаштувань Якість встановіть прапор Експортувати лише субпотік якщо необхідно експортувати лише дані субпотоку. У списках, що випадають Відео і Аудіо виберіть формати кодування відео та аудіо, а також задайте рівень якості кодування (кількість кілобіт за секунду).
- Встановити прапор Надрукувати інформацію у відео, виберіть текст та положення його на відео, що експортується.
- У групі налаштувань Додаткові можливості: Встановити прапор Фігури, субтитри для збереження на експортованому відео фігур та субтитрів. Встановити прапор Використовувати налаштування повороту та відображення для того, щоб до відео, що експортується, застосовувалися відповідні параметри, вибрані при налаштуванні каналу. Встановити прапор Розмиття облич, щоб приховати розпізнаних осіб людей в експортованому відео.
За промовчанням Trassir пропонує записати архів до папки Shots. Але як ви розумієте, цю папку можна замінити, вибравши шлях у провіднику до потрібної папки. Або надіслати експортований файл на робочий стіл (desktop). Даємо ім'я файлу та зберігаємо.
При проектуванні систем відеоспостереження часто постає питання зручності роботи з архівом. В інтерфейсі TRASSIR наочно відображається глибина записаного архіву. Вимірюється глибина архіву днями.
Індикація глибини архіву представлена таким чином:
Підкреслений рядок – це індикатор глибини архіву.Цей індикатор відображає глибину архіву відеопотоків. Розташовані вони так:
основний потік / привілейований потік / субпотік (наприклад: 78/0/58).
Глибина архіву зважає на перший запис в архіві. Якщо у вас є запис в архіві 7 днів тому, а за наступні шість днів запису немає, то глибина архіву буде відображатися 7 днів.
У ПО TRASSIR 3.1 архів від попередніх версій ПО TRASSIR у статистиці глибини архіву не враховується
ПЗ версій 4.5 читатиме архів старих версій, наприклад 4.0, але версія 4.0 архів від сервера 4.5 прочитати не зможе
Кожна версія Trassir на диску шукає в першу чергу каталог "VmsArchive-4.1" (із зазначенням версії).
Еволюція назв каталогу з архівом:
- TrassirArchive-3.0
- TrassirArchive-3.1
- TrassirArchive-4.0
- TrassirArchive-4.1
- VmsArchive-4.1
TRASSIR може вести запис на жорсткі диски (HDD), мережеві жорсткі диски, твердотільні накопичувачі (SSD, флеш-накопичувачі) мережеві сховища (NAS). Під запис архіву краще використовувати файлову систему NTFS, оскільки тестування роботи архіву коїться з іншими файловими системами не проводилося. Винятком є файлова система EXT 4. Дана файлова система використовується на серверах із встановленою TRASSIR OS.
ПО TRASSIR не пише архів на системний розділ, а також диски та розділи об'ємом менше 10 Гб
Нижче представлена структура архіву TRASSIR:
Структура архіву та принцип його роботи
У корені кожного HDD або розділу HDD створюється папка з ім'ям VmsArchive-4.1. Ця папка зберігає всю інформацію з камер.
Архів ПО TRASSIR має певну структуру, нижче можна з нею ознайомитись:
Блоки синхронізованого архіву виглядають трохи інакше, із припискою Guid каналу:
На серверах TRASSIR OS у розділі архіву ще може перебувати папка lost+found, Це системна директорія.
Дану директорію використовує утиліта fsckвона призначена для перевірки файлової системи.
Якщо утиліта fsck в ході перевірки знаходить дані у файловій системі, які пошкоджені або не мають імені в системі, такі файли поміщаються в директорію lost+found.
У папці з архівом є ряд файлів, кожен з яких відповідає за певний функціонал TRASSIR.
Розглянемо докладніше:
- Блоки та індекси архіву
- Прапори архіву
- Метадані ActiveSearch
Через особливості роботи архіву TRASSIR не можна в один реєстратор переносити диск з архівом з іншого реєстратора. Через це може зламатися внутрішня нумерація блоків і весь архів може стати недоступним. За тією ж логікою, не можна писати кільком реєстраторам в одну папку на сховищі мережі.
Блоки та індекси архіву
Блоки архіву служать осередками для зберігання відеопотоків підключених камер до TRASSIR. Відповідно архів ПО TRASSIR складається з файлів блоків (по 2Гб) та файлів індексів (по 15мб).
У файлах-блоках зберігається інформація з усіх камер, підключених до ПО TRASSIR.
Файл індексу містить інформацію про дату, час, і якій камері належать ті чи інші кадри (фрейми).
Принцип назви файлів побудовано так:
"1" номер кільця запису (1 основний, 2 привілейований, 3 субпотік);
"1400." мітка часу (Unix time у мікросекундах);
"e77." хеш диска;
"006cb3" номер блоку на диску;
"-a" ознака індексу ("afterblock").
Також, префікс “-а” і “-f” свідчать про часу запису блоку до архіву, тобто індекс “a” свідчить, що блок до архіву був записаний у сьогодення часу, а індекс "f" – свідчить про запис блоку архіву майбутньому. Таке можливе при переведенні годинника на сервері на більш ранній час. Що нормальною реакцією TRASSIR на ненормальне поведінка системи.
Блоки з префіксом "f" в інтерфейсі ПО TRASSIR будуть перебувати в "втрачених каналах" і мати ім'я – "ім'я каналу (future)":
Для ПО TRASSIR блок, мітка часу якого відрізняється від інших на 5 хвилин і більше (поточний час + 5 хвилин), буде зарахований як "future"
Якщо на сервері час переводили кілька разів, то блоки архіву, які вже мали префікс "f", можуть бути не читаються. У такій ситуації необхідно звернутися на технічну підтримку
“Мегаблоки– кілька блоків архіву із загальним файлом індексу, тобто на кожному диску є файл індексу, що містить у собі інформацію про інші блоки, що входять до складу цього "мегаблоку". Використання "мегаблоків" дозволяє підвищити швидкість роботи з блоками архіву і більш рівномірно розподілити ( зменшити) навантаження на HDD сервера. Досягається це за рахунок того, що прочитавши один файл індексу "мегаблоку" TRASSIR оперує відразу з кількома блоками архіву, які розташовані на різних серверах HDD.
На створення "мегаблоків" впливає кількість каналів та кількість HDD, підключена до сервера.
У ситуації коли в системі (на сервері) від 5 каналів та від 3 HDD, будуть створюватися "мегаблоки":
Прапори архіву
Розглянемо, за що відповідають прапори архіву.
Motion_search_mark – Прапор вказує на якому HDD зберігаються метадані ActiveSearch (ActiveSearch – це відеоаналітика ПО TRASSIR що дозволяє шукати наявність рухів у вказаній користувачем області кадру). Цей прапор повинен бути лише на одному HDD (якщо цей HDD не відключали і запис аналітики не вевся на інший HDD).
Initial_fill – прапор, що відповідає за заповнення HDD файлами архіву.
За відсутності файлу initial_fill у директорії VmsArchive-4.1 архів буде перезаписуватись незалежно від наявності вільного місця на HDD. (За умови наявності створених блоків на цьому диску).
Цикл перезапису архіву розпочнеться автоматично за наступних умов:
- коли на HDD без метаданих ActiveSearch (тобто без прапора motion_search_mark) залишається 2Гб вільного місця.
- у випадку, якщо на HDD є метадані ActiveSearch, цикл перезапису почнеться при 12Гб вільного місця на HDD або менше, залежно від умов (наприклад, великої кількості метаданих ActiveSearch). У цьому випадку 10Гб буде відведено під метадані ActiveSearch, а 2Гб для перезапису блоків архіву.
На початку циклу перезапису прапор initial_fill видаляється.
Файл README.txt – Цей файл не є прапором. TRASSIR за допомогою цього файлу визначає наявність прав читання та запису в папку архіву.
Format_mark – даний прапор є тільки в TRASSIR OS. Він свідчить про те, що HDD відформатовано та готове для запису архіву. При видаленні цього прапора з'явиться можливість форматування цього HDD у TRASSIR OS.
Метадані ActiveSearch
До структури архіву входять папки, які містять метадані для відеоаналітики ActiveSearch. Також у цих папках містяться прев'ю архіву та його індексація.
Назви папок містять префікси "M$" та GUID'и каналів. Вміст папки:
Відповідно, у папках містяться файли метаданих ActiveSearch.
У назві файлу метаданих відображено дату події та її час у форматі unixtime.
Також можуть бути файли:
- 2014-08-07-1407355200_thumb – файл з картинками прев'ю;
- 2014-08-07-1407355200_thumb_index – Файл з індексацією превью.
При вилученні HDD із метаданими ActiveSearch (наприклад диск 1) TRASSIR почне записувати нові метадані ActiveSearch на будь-який інший HDD (наприклад, диск 2). При поверненні в систему раніше вилученого диска (диск 1) TRASSIR буде знову оперувати з метаданими ActiveSearch раніше вилученого HDD (тобто з диском 1). Відповідно метадані ActiveSearch з іншого HDD (диска 2) в TRASSIR доступні не будуть. Але їх можна перенести з однієї папки до іншої.
Дані ActiveSearch асоційовані з часом, коли була скоєна подія. Після перезапису блоку архіву дані цієї події з БД ActiveSearch будуть видалені тільки о 00:00 ночі, тобто при наступі наступного дня.
HDD, на якому є прапор motion_search_mark стане на перезапис архіву при 10 Гб. вільного місця (10 Гб. відведено для БД ActiveSearch.). При збільшенні БД ActiveSearch більше 10 Гб видалятимуться блоки архіву.
Три кільця запису
При певних налаштуваннях ПО TRASSIR на HDD записуватиметься основний відеопотік, привілейований відеопотік, субпотік – це і є технологія –три кільця запису”. При великій кількості HDD у системі ПЗ TRASSIR чергує HDD між собою залежно від навантаження на них. Для запису основного потоку за одиницю часу TRASSIR не може використовувати більше 4 HDD.
Розподіл запису на HDD:
Основний відеопотік та привілейований відеопотік на HDD записується за алгоритмом n-1, тобто субпотік пишеться завжди на окремий HDD.
Варто врахувати, що за великої кількості HDD у системі привілейований потік може записуватися окремо від основного потоку, тобто основний потік записуватиметься на свої HDD, а привілейований на свої HDD
Кількість задіяних дисків також залежатиме від кількості каналів на сервері:
1-4 канали – запис йде на 1 HDD.
5-9 каналів – запис йде на 2 HDD.
10-14 каналів – запис йде на 3 HDD.
15+ каналів – запис йде на 4 HDD.
Зауважте, що при додаванні додаткового диска він буде записуватися нарівні з іншими, заповнюючись поступово. Різкого приросту глибини архіву не варто очікувати, особливо якщо глибина архіву велика
Швидкість запису та максимальний обсяг архіву
Швидкість запису архіву
При використанні великої кількості камер необхідно потурбуватись про швидкість запису архіву на HDD.
Швидкість запису архіву в TRASSIR:
не фрагментовані HDD
Чим більший час безперервної роботи TRASSIR, тим швидше можна працювати з архівом. Це пов'язано з тим, що TRASSIR за час своєї роботи зберігає в кеші/буфері інформацію про ім'я та розташування файлів індексів/блоків.
Максимальний обсяг архіву
В архіві є певні обмеження максимального розміру диска (глибина архіву). Пов'язано це з тим, що розмір файлу індексу є кінцевим і не може перевищувати 15мб. У цьому файлі зберігається вся інформація про кожен з каналів у системі та посилання на блоки, де є архів, що відноситься до цього каналу. Чим більше каналів у системі – тим більше таких записів, а від розміру диска залежить кількість створених блоків і отже ланцюжки залежностей довші та містять більше даних. Існує прямо пропорційна залежність між доступною кількістю каналів та розміром дисків.
Формула розрахунку цієї залежності:
Кількість каналів * ( Максимальна кількість 2Гб блоків / 1024 / 1024 ) ≤ Розмір a-block файлу
Кількість каналів – кількість каналів на сервері
Максимальна кількість 2Гб блоків = розмір диска (Гб)/2
Приклад: 1,8 Тб диск містить 900 блоків.
Розмір a-block файлу = константа 15мб.
Якщо ми виходимо за межі 15мб, то зайва інформація буде втрачена і ланцюжок залежностей для каналу буде неповним. У результаті ПО TRASSIR доведеться перебирати всі найближчі файли індексації та добудовувати ланцюжок самостійно. Коли кількість таких файлів десятки тисяч – дана процедура починає займати відчутний час.
Чим загрожує вихід за межі цих обмежень для користувачів? Довга індексація при запуску TRASSIR (включення дисків): наприклад, по 10-15 хвилин.
Сильні затримки під час побудови тимчасової шкали: перехід по кілька хвилин при виборі наступного дня/місяця під час перегляду архіву.
У сучасних версіях ПЗ використовується інша логіка роботи архіву і a-block більше не залежить від кількості каналів сервера. Тому ця інструкція з розрахунку підходить тільки для версій нижче 4.3.3.1
Розрахунок потрібної ємності можна зробити через калькулятор на нашому веб-сайті.
Розподіл блоків архіву при різних ємностях HDD
При проектуванні сервера варто враховувати ємності HDD, що використовуються. Нижче розглянемо ряд прикладів і ситуацій, яких варто уникати при проектуванні та налаштуванні системи відеоспостереження.
Розглянемо ситуацію, коли під запис архіву відведено 2 HDD обсягом 2 Тб. кожен. Блоки архіву розподілятимуться рівномірно архіву в такій системі:
Коли в системі 2 HDD, один диск об'ємом 2 Тб, а другий диск – 4 Тб. ПО TRASSIR починає проріджувати, тим самим збільшуючи навантаження (читання/записи) на HDD більшого обсягу:
При використанні кількох HDD по 2 Тб. (наприклад 2 HDD) та NAS (мережевого сховища) об'ємом 10 Тб.
Такої конфігурації не рекомендуємо . При такій великій різниці в об'ємі між HDD і NAS, на NAS завжди буде вільне місце. Викликано це тим, що TRASSIR намагається вирівняти архів по всіх дисках. Відповідно, ця конфігурація не доцільна.
Для забезпечення нормальної працездатності архіву з використанням NAS великого обсягу, необхідно буде створити на ньому логічні розділи об'ємом приблизно рівним обсягом HDD, що використовуються в системі, або за допомогою RAID контролера об'єднувати всі локальні HDD на сервері в розділ аналогічного обсягу, що і на NAS.
До TRASSIR можна додати максимум 24 томи для запису. Це пов'язано з обмеженнями Windows за кількістю латинських літер для призначення томів пристроїв. Обійти це обмеження можливо шляхом додавання HDD як папки мережі
Часті помилки HDD у ПО TRASSIR
У процесі експлуатації ПЗ TRASSIR можуть виникати різні помилки пов'язані з архівом:
disk too slow – Ця помилка виникає у ситуаціях, коли швидкості запису HDD недостатньо для запису відеопотоку.
TRASSIR повідомляє про цю помилку, коли розмір буфера відведеного під блок архіву перевищує 500мб. Відповідно, як тільки відбувається переповнення буфера, інформація втрачається і в архіві буде відсутній цей часовий проміжок.
disk too slow(2) – дана помилка виникає у ситуаціях, коли через брак швидкості запису “активний” блок архіву ще записаний повністю, але потрібно вже розпочати запис інформації у наступний блок архіву.
disk space not available – дана помилка виникає у випадках, коли ПО TRASSIR з якихось причин не може виділити вільне місце для створення блоку архіву.
(error 27) ERROR_SECTOR_NOT_FOUND – сектор не знайдений, можливо на HDD присутні пошкоджені сектори.
(error 1117) cannot write – запит не було виконано через помилку вводу/виводу на пристрої. Ця помилка може бути викликана нестачею прав для запису на HDD або некоректними налаштуваннями в ПО TRASSIR (наприклад, всі HDD включені тільки на читання).
Помилка boost::file::system::rename з посиланням на певний блок – хтось видалив блок.
При використанні привілейованих каналів у разі, якщо глибина основного потоку становитиме менше доби, у TRASSIR виникне помилка: "поточні налаштування призвели до витіснення основного потоку.“
У логах можна помітити спецсимволи (які постійно повторюються), вони так само несуть інформацію про можливі неполадки:
“@” – кадр втрачено, т.к. переповнений буфер пам'яті – варто спробувати зменшити бітрейт на підключених до системи камерах.
“$” – "SubFrames" втрачено, т.к. переповнений буфер у пам'яті – варто спробувати знизити бітрейт на підключених до системи камерах.
“~” – кадр втрачено, т.к. не вдалося прив'язати його до GOP (групи кадрів) (не знайдено `I`-frame для `P`-frame) – перевірити мережу на предмет втрат пакетів та її стабільність.
“`” – GOP (група кадрів) втрачено, т.к. їх тимчасова мітка менша за тимчасову мітку останнього кадру записаного в кільце – перевірити мережу на предмет втрат пакетів та її стабільність.
“?” – GOP (група кадрів) втрачено, т.к. не вдалося виділити новий блок на запис – варто спробувати зменшити бітрейт, можливі проблеми з архівним диском.
Додатково
Особливості роботи архіву старих версій ПО TRASSIR
У ПО TRASSIR 3.0, через особливості запису архіву, HDD сервери з часом фрагментувалися, що зрештою призводило до зниження швидкості читання та запису архіву
Що таке фрагментація жорсткого диска і які проблеми вона має?
Під час запису файлу на жорсткий диск існує можливість, що файл не поміститься у відведений йому простір і операційна система розділить його на логічні частини. Такий поділ файлу на частини і називається фрагментацією файлу.
Найбільше фрагментуються файли, які часто змінюють розмір, а також файли великого розміру.
Чим сильніше фрагментована файлова система, тим комп'ютер працює з інформацією на жорсткому диску.
Що таке дефрагментація жорсткого диска?
Дефрагментацією HDD називається процес, в процесі якого забираються фрагменти файлів або зменшується їх кількість.
Відповідно, якщо HDD відведений під архів було відформатовано та змонтовано в ПО TRASSIR під запис, то такий HDD не буде фрагментованим і фрагментуватиметься надалі не буде, за умови відсутності людського фактора.
Як результат – на старих версіях ПЗ необхідно обов'язково проводити дефрагментацію HDD іноді.
Розрахунок ємності HDD
У випадках коли потрібно розрахувати необхідну ємність HDD для конкретної глибини архіву використовується формула:
C – Кількість камер.
B – бітрейт виставлений на пристрої (бітрейт – буквально швидкість проходження бітів інформації, тобто максимальна кількість біт, яку можна передати в одиницю часу).
Враховуючи, що для передачі цифрової інформації бітрейт вимірюється в бітах, а обсяг зберігання та обробки цифрової інформації в байтах необхідно здійснювати переклад однієї одиниці вимірювання в іншу.
1 байт = 8 біт. Тому у формулі вище загальний бітрейт із пристроїв необхідно поділити на 8.
Отриманий результат – це обсяг інформації за секунду.Далі переводимо секунди на хвилини, тобто множимо на 60 (отримуємо обсяг інформації за хвилину), потім ще раз множимо на 60 (отримуємо за годину) і т.д.
Приклад:
Є 23 камери з максимальною роздільною здатністю запису 2 МП та 4 Тб HDD на сервері.
Необхідно розрахувати глибину архіву за такої ємності HDD, за умови, що запис буде постійним, тобто 24 години на добу.
Відповідно знаходимо загальний бітрейт:
середній бітрейт для 2 МП камер за 25 к/с. (1920х1080/25fps) складає 3 Мбіт.
23 * 3 = 69 Мбіт/с (це загальний бітрейт із усіх 23 камер).
Перекладаємо Мбіт/с на мб/с поділивши на 8.
69/8 = 8,7 мб/с – необхідна швидкість запису на HDD сервері.
Далі переводимо за хвилини помноживши на 60.
Перекладаємо в години та добу.
522*60 = 31320 мб/год.
31320 * 24 = 751 680 мб/добу.
Для зручного сприйняття отриманий результат переведемо Гб.
751680/1024 = 734 Гб на добу за постійного запису.
Відповідно переведемо ємність HDD з Тб у Гб, тобто 4*1024 = 4096Гб.
І нарешті знаходимо глибину архіву.
4096/734 = 5, тобто глибина архіву становитиме 5 діб, за умови, що запис велася на сервері постійно.