Проекти

С 3D технологии и дронове Русенският университет "Ангел Кънчев" разгръща научния си потенциал

Владимир Владков

Оборудването и научноизследователските дейности по европейски проекти намират приложение и в борбата с COVID-19

Дигитализацията, визуализацията и пресъздаването на обекти, местоположения и събития са процеси, считани от редица световни организации за технологии на бъдещето. Вече са разработени цялостни решения и крайни устройства, които да подготвят масовите потребители за тези технологии. Примери за това са различни по вид и цена 3D скенери, уеб платформи за споделяне на дигитални модели, 3D принтери и други. Независимо от наличието на тези решения все още съществуват редица предизвикателства както от научна и изследователска гледна точка, така и от чисто приложна. Тримерно моделиране, дигитализация, визуализация и прототипиране, създаване на човеко-машинни системи на базата на мултимодални интерфейси, включително на био- и невронна обратна връзка са само част от иновативните научноизследователски дейности, изпълнявани от учените от Русенския университет "Ангел Кънчев" по проект УНИТе ("Университети за наука, информатика и технологии в е-обществото"). Проектът е финансиран от ОП "Наука и образование за интелигентен растеж", съфинансиран от ЕС чрез европейските структурни и инвестиционни фондове.

Научният екип по проект УНИТе от страна на Русенския университет включва проф. дн инж. Георги Кръстев от катедра "Компютърни системи и технологии", както и доц. д-р инж. Георги Христов, доц. д-р инж. Пламен Захариев, ас. д-р инж. Дияна Кинанева и група докторанти от катедра "Телекомуникации" на висшето учебно заведение. Освен основните си преподавателски и изследователски дейности, които са фокусирани върху компютърните системи и комуникационните мрежи, екипът постепенно разширява експертизата си в други научно-приложни сфери, включително безпилотните летателни апарати, технологиите за дигитализация и визуализация на обекти и адитивните технологии. По тази тематика от университета работят още двама професори, един доцент, двама асистенти с докторска степен, десет докторанти и още толкова студенти. Те проучват възможностите и начините за прилагане на дигитализацията в различни предметни области, включително чрез прилагане на възможностите на безпилотните летателни апарати, комбинирани с мултиспектрални сензори за анализ на земната повърхност.

Допълнително специалистите работят и по други проекти за дигитализация на културно-историческото наследство (с партньори от България и Румъния по проект ROBG-9 ARCHIVE и проект ROBG-499 LIVE), а заедно с партньори от Гърция и Кипър разработват система за ранно откриване на горски пожари, базирана на принципите на изкуствения интелект, невронни мрежи и реализирана с помощта на безпилотни летателни апарати (по Проект 2263 SFEDA).

С работата си във всички тези проекти и откривайки пресечната точка между тези изключително различни области, които са силно свързани с ИКТ, учените от Русенския университет вече са натрупали сериозно ноу-хау. Постигнати са редица резултати в почти всички направления, включително разработване на прототипи на сериозни игри и симулации (културно-историческо наследство, човешко здраве, анализ на критична инфраструктура и др).

Дигитализация и визуализиране
Две от най-популярните технологии за дигитализация на обекти са базирани на подходи с използване на цифрови камери и 3D скенери. При първия метод се извършва заснемане на обекта от всички възможни позиции, като целта е всеки пиксел от изображенията да е заснет от минимум две различни позиции, а след това чрез редица математически изчисления и принципите на триангулация се създава тримерният обект. Постигането на висококачествено изображение с добра детайлност изисква скъпа апаратура, закупена от Русенския университет в рамките на проект УНИТе. "Това ще ни осигури много стабилни позиции на пазара на услугите за дигитализация в следващите 5-6 години. Така ще можем да си партнираме качествено и ефективно с бизнеса и с образователните институции", изтъква доц. Захариев.

Вторият по-съвременен метод за дигитализация на обекти с най-различна форма и характеристики е чрез 3D скенери. Някои от тези устройства се интегрират към мобилни платформи като таблети и дори смартфони, други работят самостоятелно, а трети се ползват в комбинация с компютърни системи, към които се предават суровите данни за допълнителна обработка и генериране на тримерните модели. Русенският университет "Ангел Кънчев" разполага с различни 3D скенери, закупени в рамките на няколко проекта през последните пет години, като част от тези устройства са уникални за България. 3D скенерът Artec Leo разполага с вграден микрокомпютър на Nvidia, който извършва цялостната обработка на получените 3D модели и не изисква връзка към компютър. Лазерният скенер Artec Ray може да се използва за създаване на тримерни модели на цели сгради и архитектурни комплекси. Той може да се използва за дигитализация на исторически сгради, като от Русенския университет вече са създали 3D модел на емблематична църква в Русе, както и на множество римски крепости от поречието на река Дунав. По-малките 3D скенери разчитат на връзка с компютърна система и специализиран софтуер, чрез който не само се визуализира в реално време дигитализираният обект, но и се извършват допълнителна обработка и генериране на готовите цифрови тримерни модели.
"Сканирането не е лек процес, отнема доста време", обяснява д-р Кинанева. "В зависимост от големината на обекта са нужни 15, дори 20 отделни сканирания, като получените изображения се наслагват едно върху друго чрез специализиран софтуер, който търси точки на съвпадение."
Устройствата вече се използват в много съвместни инициативи и проекти с бизнеса, с културни и образователни институции. Например вече са сканирани над 50 артефакта от различни епохи, съхранявани в музеи в Силистра. Сканирана е и реплика на Боровското тракийско съкровище, намираща се в Регионален исторически музей - Русе, както и десетки обекти от музея в румънския град Кълъраш, включващи артефакти от праисторическите епохи, от древността и от Средновековието.

След заснемане с дрон е направен и 3D модел на архитектурния парк в Силистра, който е толкова реалистичен и детайлен, че "потребител с VR очила може да се "разходи" виртуално по алеите и в останките от сградите", обяснява доц. Христов.

След получаване на 3D модела на даден обект той може да бъде възпроизведен с 3D принтер и използван за популяризиране на оригинала. В рамките на няколко проекта Русенският университет е закупил и няколко 3D принтера, включително модела MCor Iris. Това е един от двата функциониращи 3D принтера на Балканите, които могат да печатат пълноцветно с повече от 16 милиона цвята, използвайки стандартна офис хартия. "Хартиените модели имат недостатъци спрямо отпечатаните от полимери, включително риск от намокряне, но за по-голяма устойчивост готовите модели се напръскват със специални разтвори, които ги "запечатват", коментира доц. Захариев. С тяхна помощ е отпечатан 3D модел на Епископската базилика в Силистра. След заснемане с дрон и дигитализация е създаден и 3D модел на Лесичерския стълб, чийто оригинал е 9-метрова колона. РУ използва и принтери с екструдиране на пластмаса - Ultimaker серия 2+ и 3+ и др.. От екипа ще продължат изследванията в областта на дигитализация на културно-историческо наследство, генерирането на тримерна пространствена информация и бързо прототипиране на исторически и археологически артефакти, както и приложението на виртуална и добавена реалност за културно-историческото наследство (археология, етнология, фолклор и др.).

Заради пандемията с COVID-19 съществуващата в РУ "ферма" от 3D принтери е произвела досега над 2800 предпазни шлемове, дарени на болниците в Русе, както и на повечето големи областни болници, включително и за много столични болници.

3D принтирането намира и комерсиално приложение, включително за прототипи. За русенската фирма SIN Cars, проектираща състезателни болиди, екипът от РУ е сканирал различни компоненти, които след това дизайнерите на компанията модифицират и тестват, обясни доц. Захариев.


С 3D технологии и дронове Русенският университет "Ангел Кънчев" разгръща научния си потенциал


БЛА с компютърно зрение и изкуствен интелект
Развитието на технологиите на безпилотните летателни апарати (БЛА) и мултиспектралния анализ предоставя нови хоризонти за прилагане на дигитализацията - в строителството за инспекция на съоръжения и създаване на термокарти на сгради, в геодезията за картографиране и създаване на 3D височинни и обемни модели на терена, в архитектурата за изследване на конструкцията на сгради, в машинното инженерство за тестване на определени елементи за конструктивни, термични или структурни проблеми, в земеделието за откриване на инвазивни видове, болести по растенията или проблеми с почвата. Всички тези настоящи и бъдещи сфери на приложение на дигитализацията изискват адекватна научна оценка на получените резултати, създаване на нови алгоритми, методики и подходи.

Безпилотните летателни апарати (по-популярни като дронове) могат да бъдат конструкция тип фиксирано или ротационно крило, обяснява доц. Христов. Тези системи се управляват отдалечено, като комуникацията с летателния апарат е добре резервирана, като се предава на различни честоти, гарантирайки надеждното изпълнение на различни мисии. Дронът постоянно предава чрез еднопосочен канал видеоинформация в реално време до наземна система, където тя се събира и анализира. По отделен комуникационен канал се предава в права посока към наземна станция данни като GPS координати на БЛА, скорост на вятъра и други, а в обратния канал се предават данни за управление на дрона, така че той да бъде позициониран в определена точка в пространството и да се реализира пълен контрол на камерата и допълнителната периферия.
При БЛА с фиксирано крило (тип "самолети") задвижването може да е с ДВГ, с електрически двигатели или хибридно. Моделите с ротационно крило са тип хеликоптер, или тип мултироторна платформа (3, 4, 6, 8 и т.н. бр. двигатели). Характерно за мултироторните системи е, че се използват предимно електрически мотори поради по-малките вибрации, които се внасят от тях, а безпилотната система е по-стабилна в сравнение с моделите с ДВГ.

Независимо от типа на моторите и техния брой тези системи се характеризират с голямо разнообразие от сензори, като най-съществени са оптичните сензори или камери, чрез които се правят различни снимки, записва се видео и др. Всеки БЛА разполага с барометър, GPS позиционираща система, системи за следене на скоростта, системи за избягване на препятствия и др. Някои модели имат датчици за измерване атмосферно налягане, влажност, а по-специалните могат да замерват и радиационни фонове.

С дроновете могат да се правят двумерни заснемания (ортофотоизображения на земната повърхност) или чрез прилагане на специални техники да се генерират триизмерни модели. Във втория случай траектория на полета се проектира така, че да има презастъпване на кадрите с дефазиране на 90 градуса. Чрез обединяване на изображенията от двата полета се получава триизмерният модел на съответния обект.

Дроновете, които Русенският университет използва за целите на дигитализацията, включват Phantom 3 Pro, Phantom 4 Pro v.2, Mavic 2 Pro, Mavic 2 Enterprise, Mavic Air 2 на водещия производител в тази област DJI. За заснемане на видео- и художествени изображения от въздуха се използват моделитe на DJI Inspire v.2, DJI Spreading Wing S1000+, a дронът Yuneec Typhoon H Plus осигурява 4K видеозаснемане чрез своята камера с 1-инчова матрица. При полета дроновете правят множество застъпващи се снимки, като по посока на летенето застъпването трябва да е поне 60% в широчина на изображението и поне 80% по дължината му. Това помага на обработващия софтуер да намери съвпадащи зони от изображенията и да ги съедини в едно. След дефазиран полет на дрона се получава информация, която е необходима за създаване на 3D модел на земната повърхност, като по този начин е получен тримерен модел на древната крепост Хистрия в Румъния, както и гигапикселово ортофотоизображение с много голяма детайлност. "Информацията е толкова подробна, че при максимално приближение могат да се видят дори регистрационните номера на коли, ако те присъстват в снимката", обясни доц. Захариев. Ортофотографията е изключително важна за геодезията, защото методът на извличане на тези изображения елиминира изкривяването, което се получава заради характера на земната повърхност. Тези ортофотоизображения могат да бъдат наложени върху геодезични подложки и да бъдат използвани при анализ или при проектиране на различни строежи, в археологията и други области.

Научният екип на РУ използва и професионалния дрон DJI Matrice M210RTK, който е сертифициран да лети при лоши атмосферни условия, включително в мъгла и по-слаб дъжд. Към него могат да се прикрепват различни камери. В една от конфигурациите камерата се монтира над дрона, като има вариант за монтиране на още 2 камери, използвани за различни дейности. РУ е закупил за този дрон два вида камери. Едната е с 20 Mpx резолюция и заснема 4K видео с до 50 кадъра/секунда. Другата камера е с двоен сензор с 4К, но има и термален сензор, чрез който могат да се издирват хора при бедствия и аварии, да се следи за възникване на горски пожари, да се правят профили на топлоизолацията на сгради, инспекция на далекопроводи и т.н.

Основно предимство на този дрон е системата RTK (от Real time kinematic), която позволява използване на прецизно 3D позициониране. Чрез тази система се получава изключително точно георефериране на всеки пиксел в заснетите изображения. Точността на получените ортофотокарти е от порядъка на 1 см на пиксел, докато създадените от сателитни снимки са с отклонение от 25 см до няколко метра.

РУ разполага с още един специализиран дрон DJI S1000+ с голяма товараносимост, който може да носи професионални видеокамери. С тях екипът е заснел редица видеофилми от събития, за целите на дигитализацията и др. С подобни дронове в киноцентър "Бояна" са заснемани сцени от кинопродукции.

По-новото поколение дронове на DJI, с които разполага РУ, са Mavic 2 Enterprise Dual и Mavic 2 Pro. Първият модел разполага с камера с два сензора - оптичен и термален. Върху дрона могат да бъдат инсталирани фенери, маяци, високоговорители. Именно с този дрон представителите на РУ са помогнали на МВР - Русе, да информира гражданите за пандемията с COVID-19, както и да ги инструктира да спазват мерките за дистанциране.

Същевременно Mavic 2 Pro има интересна приставка и камера за извличане на NDVI изображения на растителната покривка, която да покаже реалния вегетационен индекс.

РУ разполага с още един уникален (единствен на Балканите) БЛА с фиксирано крило - ALTi Transition F. Този самолет с 3-метров размах на крилете излита вертикално с помощта на 4 електромотора, а след това използва ДВГ за поддържане на хоризонтален полет, патрулиране и наблюдение на определени зони с продължителност на полета от 8 до 12 часа в зависимост от атмосферните условия и скоростта на вятъра. Това е завършена система с наземна станция за управление с два дисплея. На единия се вижда информация в реално време от специализираната камера в самолета, а на другия се вижда софтуерът за неговото управление и програмираният маршрут.

Камерата на самолета, която тежи само 250 грама, също е единствената на Балканите. В нея са вградени три сензора - лазерен далекомер с голяма точност (използва се и като мерник за следене на обект (например кола на магистралата), камера с 4К резолюция и 40-кратно последващо приближение и инфрачервен сензор за откриване на горски пожари.

Приложение на БЛА
3D реконструкция на обекти с помощта на софтуери от типа Pix4Dmapper Pro и Agisoft Photoscan, чрез които се обработват множеството снимки, получени от камерите.

Създаване на цифрови модели на повърхността (DSM), на които с различни цветове се показват различните височини, на практика триизмерна релефна карта. Такава карта е направена на каньона на р. Русенски Лом.

Облаци от точки, които да се използват за получаване и текстуриране на триизмерни модели. След това те могат да бъдат визуализирани или отпечатани на 3D принтер.

Създаване на карти, необходими в земеделието или горското стопанство.

За различни изчисления и анализи - например обема на опредени изкопни дейности. При заснемане в два поредни дена може да се изчисли колко пръст е изкопана. По този начин могат да бъдат следени изкопни работи в открити въглищни мини, мини за добив на цветни метали, като е възможно да се направят груби изчисления на обема диаманти, които би трябвало да се съдържат в изкопаната земна маса.

За дистанционни измервания и геодезични дейности. Направеният разрез на картата на Русенски Лом показва в детайли съответната височина. Тези карти се използват за планиране при изграждане на магистрали, жилищни комплекси и други инфраструктури от различен тип.

Чрез 3D моделите могат да се планират по-кратки маршрути за доставка на материали или безопасни маршрути за полет на дронове, така че да не закачат електрически кабели, върхове на дървета или други обекти.

Триизмерните модели могат да послужат за реални изследвания, например за прогнозиране разлива на река. По този начин могат да бъдат избегнати щети от природни бедствия. При покачване нивото на реката може да се види кои сгради ще бъдат засегнати и хората да бъдат евакуирани. Подобни карти са полезни за големи реки като Дунав, Янтра, Марица, Русенски Лом, които в дъждовния сезон често излизат от коритото си и заливат големи земеделски площи.

Прецизно земеделие. Освен за цифрово заснемане на земеделската площ моделите от дроновете могат да се използват за изчисляване на реколтата чрез т.нар. NDVI индекси. С тези индекси се изчислява хлорофилът в земната маса и се препоръчват мерки за подобряване на условията в конкретна зона. "С дрон се заснема цялата нива, а от полученото ортофотоизображение се прави цифров модел на повърхността и NDVI карта. В нея с електриковозелено са изобразени здравите растения, а в червено - онези, които имат нужда от обилно поливане или друга обработка, обяснява доц. Захариев. Картите са важни и заради прецизното георефериране на всеки пиксел, тъй като могат да бъдат заредени в земеделските машини, които извършват съответната обработка - пръскане или събиране на реколтата."

NDVI индексите помагат и за борбата с инвазивни видове, т.е. онези, които не са характерни за съответния хабитат. Инвазивните видове са по-резистентни и на практика задушават естествените за района растения. В миналото е третирана цяла зона, което е засягало и естествени видове. Тъй като всеки вид растение има различен NDVI индекс, чрез геореферираните карти с NDVI индекси борбата с инвазивните растения се води много по-точно.

След горски пожари дроновете могат да помогнат за калкулиране на загубената дървесна маса.
Ранно откриване на пожари
Учените от РУ в сътрудничество с колеги от Гърция и Кипър разработват иновативна система за ранно откриване и предотвратяване на горски пожари. Споменатият безпилотен самолет ALTi Transition F служи като първосигнална система за откриване на пожари. Учените са програмирали самолета да лети по определен маршрут и ако камерата му засече подозрително място, изпраща точните геокоординати и продължава обследването. Координатите се предават на по-малък мултикоптер, който проверява на място дали сигналът е достоверен, или забелязаният пушек е следствие от кола или друг източник на температура и пушек. Научният екип на РУ е създал цялостно решение, което използва съвременни методи на изкуствен интелект и компютърно зрение.

Чрез алгоритми, разработени от ас. Диана Кинанева, се обучават т.нар. невронни мрежи. Първоначално на базата на над 1000 изображения, предварително маркирани за наличие на дим, невронната мрежа се обучава за около една седмица. При получаване на видео в реално време от БЛА мрежата може да прогнозира в рамките на 1-2 минути дали в това видео има кадри с пушек или пожар. Системата е тествана в реални условия в парка Русенски Лом, като е сработила успешно при всички симулации (запален варел с дървесина, димка и др.).

Да запалиш интереса и на учениците
Същевременно технологиите за 3D сканиране и принтиране, както и БЛА са включени в STEM обученията, като учените от Русенски университет са провели няколко курса в областта на приложно програмиране, специален 4-седмичен курс е проведен с ученици от 7 до 11 клас в редица училища от Русе и региона.

При досега проведените курсове ученици са програмирали дроновете да извършват определени по-прости или по-сложни задачи като движение в куб, паралелепипед. "Чрез това програмиране те научиха много неща от математиката и физиката, които бяха пропуснали в училище. Запознаха се на практика с реални приложения на Теоремата на Питагор, златното сечение, последователността на Фибоначи, това стимулира интереса им към математиката и физиката и други инженерни области", обясни доц. Захариев. Той и колегите му от РУ изразяват готовността си да се включат в планираните обучения и по проекта К-ТРИО 4 с учители и ученици, така че да запалят повече млади хора, като използват концепцията STEM за преподаване.

X