Vývoj aplikácií a softvérových nástrojov v oblasti mixovanej reality
V roku 2017 sme založili spoločnosť DORPS s.r.o s cieľom prinášať zmysluplné riešenia v oblasti digitalizácie s využitím inovatívnych technológií. Hľadali sme inovatívne výzvy, vďaka ktorým by sme prepojili softvérové inžinierstvo, systémovú integráciu a vývoj softvéru na mieru podľa potrieb klienta.
Začali sme budovať svoje know-how v oblasti mixovanej reality (MR), ktorá ponúka spájanie virtuálneho svetu s tým reálnym. Videli sme veľký potenciál pre implementáciu a využitie tejto technológie v rôznych oblastiach, ako školstvo, zdravotníctvo alebo priemysel.
V rámci štúdie sme hľadali vhodné zariadenie, ktorým by bolo možné vytvoriť prostredie mixovanej reality. Na základe výsledkov štúdie boli vybrané holografické okuliare Microsoft Hololens 1. Súčasťou týchto holografických okuliarov bola aj hĺbková kamera, vďaka ktorej bolo možné presnejšie mapovať fyzický priestor a tým pádom v ňom lepšie manipulovať s virtuálnymi objektami.
S partnerskou spoločnosťou S-Innovations zameranou na systémovú integráciu sme rozvinuli diskusiu tvorby hardvérového a softvérového riešenia pre ich koncového klienta, výrobnú spoločnosť orientovanú na výrobu pre rôzne druhy priemyslu.
Požiadavky a potreby
Pri navrhovaní riešenia sme sa sústredili aj na nasledujúce potreby projektu:
kompatibilita s CAD nástrojmi (Solidworks a AutoCAD) pre tvorbu virtuálnych modelov
výber vhodných SW nástrojov
integrácia na ďalšie systémy
presnosť merania a mapovania fyzického prostredia
optimalizácia 3D modelov a výkonu
komplexnosť - pokryť oblasti od vizualizácie, cez školenia až po konfigurácie
cena riešenia - splnenie ekonomickej návratnosti investície do 3 až 5 rokov
Popis riešenia
Formou podrobnej štúdie sme bližšie špecifikovali výhody použitia mixovanej reality v priemyselnom odvetví. Následne sme začali realizovať komplexný návrh riešenia pre toto odvetvie na základe požiadaviek koncového klienta s ohľadom na úskalia, ktoré mixovaná realita so sebou prináša.
Výsledkom návrhu boli 4 aplikácie pre mixovanú realitu a sada nástrojov, ktorá tieto riešenia v mixovanej realite podporuje.
Tvorba vizualizácií
Základom celého komplexného riešenia bola aplikácia pre tvorbu vizualizácií a sada nástrojov, ktoré sa následne využívali a postupne rozširovali pri vývoji ďalších aplikácií.
Iniciatíva
Priemyselné spoločnosti sa pri prechode na automatizované systémy výroby stretávajú s celým radom problémov. Najviac ich vzniká pri zavádzaní nových komplexných výrobných liniek, kde sa nepredvídané problémy často riešia „za chodu“ v overovacej fáze prevádzky alebo pomocou finančne i časovo náročného využitia modelov v reálnej veľkosti.
Koncový klient riešil vážne problémy s novou produkčnou linkou a jej umiestnením do jestvujúcej výrobnej haly. Prerobenie už existujúcich modulov novej výrobnej linky znamená okrem časovej straty enormné zvýšenie nákladov a tým i značný posun návratnosti vložených finančných prostriedkov.
Pri využití aplikácie pre 3D vizualizáciu je možné spomenutým problémom predísť a ušetriť tak náklady i čas. Aplikácia je vhodná ako na tvorbu nových projektov, tak aj na nápravu už existujúcich, nevyhovujúcich riešení. Presné rozmery reálnych strojov s ohľadom na priestorovú orientáciu, vzdialenosti medzi strojmi a optimálny priestor pre obsluhu strojov poskytuje výstup pre overenie a schválenie investorom. Po dôkladnej kontrole a schválení investorom alebo zadávateľom je celý proces výroby (strojov a zariadení napr. novej montážnej/výrobnej linky) postúpený k realizácii. Následne dochádza k presunu a ukotvení strojov a zariadení priamo do reálneho prostredia bez vzniknutých finančných strát v dôsledku chybovosti.
Funkcionality aplikácie
Aplikácia umožňuje vizualizáciu 3D virtuálnych objektov a ich lokalizáciu v reálnom fyzickom prostredí používateľa. Je určená predovšetkým pre využitie v priemysle, obchode a službách.
Pomocou holografických okuliarov, ktoré používateľ využíva pri práci, sa skenuje reálny priestor, v ktorom sa používateľ pohybuje. Vybraný objekt z katalógu 3D modelov používateľ umiestni do svojho reálneho priestoru. Pri aplikovaní gravitácie model spadne buď na podlahu, alebo na iný fyzický alebo virtuálny objekt. Používateľ môže ďalej využiť sadu nástrojov, ktoré napr. obsahujú:
manipuláciu s objektom, ako je presúvanie, rotovanie a škálovanie
meranie vzdialenosti, či už medzi dvomi virtuálnymi, dvomi fyzickými, alebo medzi kombináciou týchto objektov
detekciu kolízií medzi virtuálnymi objektami, ale aj medzi fyzickým a virtuálnym objektom
vytvorenie okótovaného pôdorysu naskenovaného priestoru spolu s umiestnenými 3D virtuálnymi objektami
Konštruovanie väčších objektov
Od vizualizačnej kompozície sa pozornosť upriamila na vývoj aplikácie a nástrojov týkajúcich sa oblasti konštruovania väčších objektov v priestore.
Iniciatíva
Každý typ výroby kladie špecifické nároky na strojové vybavenie, mobilitu, zásobovanie, veľkosti priestorov, osvetlenie, sanitu, vzduchotechniku, manipulačné priestory, sklady atď. Obrovská výhoda nami vyvinutého nástroja spočíva v možnosti jednoducho zapojiť do projekčných prác špecialistov, budúcich používateľov daných priestorov. Tí sa s nasadenými holografickými okuliarmi môžu „prechádzať“ po svojich budúcich pracovných priestoroch a hodnotiť ich z hľadiska vhodnosti pre plánované pracovné úkony, ergonómiu, bezpečnosť atď. Môžu upozorniť projektantov na možné riziká či „slabé miesta“ projektu. Výsledkom bude perfektne navrhnutý objekt bez nutnosti dodatočných a drahých úprav.
Funkcionality aplikácie
S holografickými okuliarmi môžete začať stavať na zelenej lúke, od prízemia až po najvyššie poschodie. Projekcia neobmedzeného množstva architektonických prvkov umožní ich dokonalé umiestnenie v reálnom priestore. Technológia podporuje vytváranie projektov stavieb od samého začiatku, či už sú to objekty hál, ich vnútorné časti ako steny, dvere, okná, priečky, ale tiež optimalizuje proces realizácie menších projektov, napríklad dostavby či prestavby súčasných objektov, skladov a pod.
Školenia pracovníkov
Od navrhovania pracovísk sme sa presunuli k ďalšej problematike týkajúcej sa správneho používania a obsluhovania pracovísk, t.j. školenia pracovníkov.
Iniciatíva
V čase pretrvávajúceho nedostatku kvalifikovaných pracovných síl sa žiadna firma nezaobíde bez vlastného systému trénovania nových zamestnancov. Pomocou učebnej metódy „learning by doing” cez vizuálne vnemy si človek najrýchlejšie osvojí nové poznatky a vryjú sa mu hlbšie do pamäti, čo skracuje čas potrebný pre zaškoľovanie zamestnancov. Od kvality zaškolenia závisí pracovný výkon budúceho pracovníka.
V prípade, že nie je možné zaúčanie pracovníkov na reálnych strojoch, či už z kapacitných dôvodov alebo kvôli riziku poškodenia daného zariadenia, je možné túto učebnú metódu využiť aj prostredníctvom mixovanej reality.
Funkcionality aplikácie
Aplikácia integruje dva najdôležitejšie prvky vzdelávacieho procesu – komplexnú vizuálnu projekciu a osobný prístup odborného školiteľa. Zaškoľovaný pracovník vidí vďaka holografickým okuliarom realistické modely strojov, zariadení či výrobkov v reálnom prostredí.
Školiteľ pripravuje školiaci materiál v administračnej časti aplikácie, kde zostavuje školiaci proces vo forme krokov. Školiteľ môže zadať rôzne doplňujúce informácie, animácie alebo anotácie. Zároveň definuje záverečný test, ktorý má zamestnanec absolvovať po skončení školenia.
Aplikácia v holografických okuliaroch zobrazuje daný školiaci proces, jednotlivé kroky, modely a úkony, ktoré má zamestnanec v rámci tohto školenia absolvovať.
Opravy a údržba
Poslednou časťou navrhovaného riešenia je nadstavba predchádzajúcej školiacej aplikácie týkajúca sa oblasti údržby v reálnej prevádzke. V tejto sfére spoločnosť DORPS vytvorila aplikáciu, ktorá efektívne uľahčuje a skracuje čas opravy a údržby.
Iniciatíva
Každý výpadok na výrobnej linke znamená obrovské straty úmerne rastúce s dĺžkou času prestoja. Rýchly servisný zásah je v takomto prípade kľúčový. S využitím holografických okuliarov je možné jednoducho usmerniť servisného technika vykonávajúceho opravu či údržbu zariadenia na výrobnej linke.
Princípy tzv. vzdialenej údržby už dnes vďaka pokročilým senzorom a prenosu údajov využíva celý rad výrobných odvetví s vysokou mierou robotizácie. Podľa analýz spoločnosti ABB je napríklad až 60% chýb v prevádzke robotov možné riešiť na diaľku. Vďaka prepojeniu zmiešanej reality so znalosťami expertov nie je potrebné, aby technici na mieste niekoľko dní študovali rozsiahly manuál – špecialista ich môže názorne viesť, pretože „vidí“ čo oni a pritom dokonale pozná, ako celý výrobný systém funguje.
Funkcionality aplikácie
Technik sa môže na plánovanú údržbu alebo opravu pripraviť vopred. Súčasťou návodu je aj zoznam nástrojov a súčiastok, ktoré sú potrebné pri realizácii. Technik si môže ešte na svojom pracovisku prejsť v holografických okuliaroch celý návod krok po kroku s jednotlivými úkonmi, ktoré bude musieť vykonať. Na mieste realizácie opravy si môže v holografických okuliaroch tiež spustiť daný návod.
V prípade potreby môže využiť vzdialenú údržbu, t. z. prostredníctvom holografických okuliarov zavolať špecialistovi a zdieľať s ním aktuálnu situáciu. V takomto prípade ho vzdialený špecialista, ktorý vidí celú situáciu, inštruuje v oprave.
Zhodnotenie a prínosy projektu
Pri navrhovaní a implementovaní takéhoto komplexného riešenia sme dbali na oddeliteľné a ľahko znovupoužiteľné nástroje. Vznikol tak základ pre softvérový toolkit mixovanej reality, ktorú v súčasnosti nazývame DORPS DEX.
Prax ukazuje, že riešenia založené na kombinácii reálneho obrazu s 3D virtuálnymi dvojičkami reálnych objektov poskytujú nesporné výhody.
Technologický pokrok vo výrobnej a priemyselnej sfére idú ruka v ruke s inovatívnymi riešeniami. Tieto prinášajú výrazne benefity vo forme optimalizácie finančných, časových a výrobných nákladov. Naším primárnym cieľom je návrh a vývoj riešení s využitím týchto technológií a prispôsobenie na akúkoľvek potrebu nášho klienta.