Kad robotas ar regos sistema galėtų ką nors padaryti su objektu, pirmiausia reikia atsakyti į klausimą: kur vaizde yra objektas ir kur baigiasi jo kraštai. Kai objektai vienodi, gerai apšviesti ir guli tvarkingai, tai išsprendžia klasikiniai algoritmai. Kai jie natūralūs, skirtingi, susimaišę ar nešvarūs, vis dažniau padeda dirbtinis intelektas gamyboje – AI segmentavimas.
Kas yra segmentavimas
Neuroniniai tinklai vaizdams sprendžia kelių tipų užduotis:
- Klasifikavimas. Atsako, kas yra vaizde: gera ar bloga detalė.
- Aptikimas. Randa objektą ir pažymi jį stačiakampiu.
- Segmentavimas. Pažymi tikslų objekto kontūrą – kiekvienas vaizdo taškas priskiriamas konkrečiam objektui arba fonui. Rezultatas vadinamas kauke.
Robotui stačiakampio dažnai nepakanka: jei du rąstai guli įstrižai vienas šalia kito, jų stačiakampiai persidengia. Kaukė parodo, kuris taškas priklauso kuriam objektui, todėl galima apskaičiuoti ašį, galus ir paėmimo vietą.
SAM modeliai
SAM (Segment Anything Model) – universalių segmentavimo modelių šeima. Jų privalumas – nereikia kiekvienai naujai detalei rinkti tūkstančių pažymėtų nuotraukų ir apmokyti modelio nuo nulio. Modelis jau moka atskirti objektus, o mes nurodome, kurie objektai mus domina, ir pritaikome rezultatą konkrečiai užduočiai.
Tačiau universalus modelis nežino gamybos taisyklių. Jis gali pažymėti šešėlį, žievės gabalą ar atspindį kaip atskirą objektą. Todėl jo rezultatą visada tikrina kiti sistemos sluoksniai.
Praktikoje AI segmentavimas retai būna vienintelis sprendimo elementas. Dažniausiai jis yra vienas iš kelių žingsnių: kamera ar skeneris pateikia vaizdą, AI pažymi kandidatus, geometrija ir taisyklės juos patikrina, o tik tada rezultatas perduodamas robotui, operatoriui ar į lentelę.
Pavyzdys: rąstų krūva ir 3D aukščio žemėlapis
Mūsų rąstų padavimo celėje KUKA robotas ima rąstą iš krūvos ir paduoda jį į apdirbimo stakles. Projektas yra paleidimo etape. Virš krūvos sumontuota ToF 3D kamera, o kompiuteris (Python) derina kelis informacijos šaltinius:
- SAM kaukės. Nuotraukoje AI pažymi atskirus rąstus.
- 3D aukščio žemėlapis. Parodo, kuris rąstas viršuje ir kur jis yra erdvėje.
- Mūsų 3D detektorius. Įvertina rąsto ašį, ilgį ir galus.
- Paėmimo taisyklės. Nusprendžia, kurį rąstą imti ir kurių neimti.
Kaukė pasako, „kas yra kas“, o 3D duomenys – „kur ir kaip aukštai“. Jei AI kaukė ir 3D geometrija nesutampa, tokio objekto negalima laikyti patikimu taikiniu. Plačiau apie visą procesą – straipsnyje objektų paėmimas iš krūvos, apie kameras – ToF 3D kameros.
Pavyzdys: ašidėžių aptikimas
2026 m. bandomajame projekte autonominė platforma su Yaskawa Motoman MH5F robotu važiuoja palei krovininį traukinį, o robotas nukreipia Photoneo 3D skenerį ir Basler kameras į vagonų vežimėlius. Įrašytame važiavime SAM 3 modelis rado 8 iš 8 ašidėžių, klaidingų radinių nebuvo.
Tai vieno važiavimo rezultatas, o ne statistika, bet jis rodo, kad universalus modelis gali rasti konkretų mazgą sudėtingame vaizde. Kiekvienas radinys susiejamas su skenavimu ir nuotrauka, o sprendimą priima inspektorius.
Principas: AI siūlo, sauga leidžia
Neuroninis tinklas gali klysti – į tai reikia atsižvelgti iš anksto. Todėl mūsų sistemose AI tik siūlo: kurį objektą imti, kur yra mazgas, kas galimai yra defektas. Judesį visada leidžia saugos grandinė, ne neuroninis tinklas. Praktiškai tai reiškia:
- AI rezultatas tikrinamas geometrija ir taisyklėmis;
- neaiškus atvejis reiškia sustojimą arba klausimą operatoriui, o ne spėjimą;
- apžiūros užduotyse galutinį sprendimą priima žmogus.
Ko reikia AI segmentavimo projektui
- Realių objektų nuotraukų, padarytų tomis sąlygomis, kuriomis dirbs sistema: su tuo pačiu apšvietimu, atstumu ir fonu.
- Aiškaus aprašymo, ką sistema turi rasti ir ką su rezultatu daryti toliau.
- Sutarto elgesio neaiškiais atvejais: sustoti, praleisti ar kviesti operatorių.
Kada AI segmentavimas tinka
- Natūralūs objektai, kurių forma kaskart kitokia: mediena, rąstai, žemės ūkio produktai.
- Susimaišę, persidengiantys objektai krūvoje ar dėžėje.
- Sudėtingas fonas, kuriame klasikiniai slenksčiai ir kontūrai neveikia.
- Apžiūra, kai reikia rasti konkretų mazgą ar zoną dideliame vaizde.
Kai detalės vienodos ir apšvietimas kontroliuojamas, dažnai pakanka klasikinio 3D mašininio matymo – tada AI nereikia. Apie defektų paiešką – straipsnyje kokybės kontrolė mašininiu matymu.
AI segmentavimo projektus pradedame nuo bandymo su jūsų realiomis nuotraukomis ir detalėmis. Daugiau – dirbtinio intelekto gamybai ir mašininio matymo paslaugose bei projektuose. Atsiųskite kelias savo objektų nuotraukas – susisiekite.