Objektų paėmimas iš krūvos: kaip robotas su 3D kamera pasirenka, ką imti

Bin picking – tai objektų paėmimas iš krūvos ar dėžės, kai detalės guli netvarkingai, viena ant kitos ir kiekvieną kartą vis kitaip. Fiksuota trajektorija čia neveikia: robotas kiekvieną kartą turi pamatyti, kas guli priešais jį, ir nuspręsti, ką ir kaip imti. Tam reikia 3D kameros, programinės įrangos, kuri randa objektus erdvėje, ir roboto, kurį galima valdyti iš išorės.

Kodėl reikia 3D vaizdo

2D kamera mato kontūrus, bet nežino aukščio. Krūvoje to nepakanka: reikia žinoti, kuris objektas viršuje, kaip jis pasviręs ir ar aplink jį yra vietos griebtuvui. 3D kamera ar skeneris pateikia taškų debesį arba gylio žemėlapį – kiekvienam vaizdo taškui žinomas atstumas.

Didelėms scenoms ir greitam vaizdui tinka ToF 3D kameros, smulkioms detalėms ir didesniam tikslumui – struktūrinės šviesos skeneriai, pvz., Photoneo PhoXi. Plačiau apie technologijas – straipsnyje apie 3D mašininį matymą.

Kaip veikia objektų paėmimas iš krūvos

1. Skenavimas. Kamera virš krūvos padaro 3D vaizdą. Kad sumažėtų triukšmas, galima sujungti kelis kadrus.
2. Segmentavimas. Vaizdas padalijamas į atskirus objektus: kur baigiasi vienas ir prasideda kitas. Tam naudojami geometriniai algoritmai ir dirbtinis intelektas – apie tai straipsnyje AI segmentavimas gamyboje.
3. Taikinio pasirinkimas. Iš rastų objektų parenkamas tas, kurį paimti saugiausia ir paprasčiausia: dažniausiai viršutinis, neprispaustas kitų ir pasiekiamas robotui.
4. Paėmimo taškas. Apskaičiuojama, kur ir kokiu kampu griebtuvas turi suimti objektą: ilgiems objektams – pagal ašį ir ilgį, plokščioms detalėms – pagal paviršių.
5. Susidūrimų patikra. Prieš judesį patikrinama, ar griebtuvas ir robotas neatsitrenks į kitus objektus, dėžės kraštus ar aplinkinę įrangą.
6. Paėmimo taisyklės. Programa turi aiškias taisykles: ko neimti, ką daryti, jei objektas atpažintas nepatikimai, kada sustoti ir kviesti operatorių.
7. Ciklas. Robotas paima objektą, padeda ar paduoda jį toliau, ir viskas kartojasi su nauju vaizdu, nes krūva jau pasikeitė.

Kad koordinatės, kurias mato kamera, sutaptų su roboto koordinatėmis, kamera ir robotas kalibruojami vienas kito atžvilgiu. Apie tai – straipsnyje hand-eye kalibravimas.

Mūsų pavyzdys: rąstų padavimo celė

Medienos apdirbimo įmonei kuriame celę, kurioje KUKA KR 60-3 robotas (valdiklis KR C4) ima rąstą iš krūvos ant rampos ir paduoda jį storuoju galu į priekį į apdirbimo staklių padavimo volus. Staklės iš rąstų gamina kuolus ir stulpus. Projektas šiuo metu yra paleidimo etape, todėl toliau pateikiami skaičiai – bandymų stendo vertės.

• 3D vaizdas. Virš krūvos sumontuota Basler blaze-101 ToF kamera.
• Objektų paieška. Kompiuteris (Python) 3D vaizde randa rąstus, įvertina jų ašį, ilgį ir galus. Naudojamas mūsų sukurtas 3D detektorius ir paėmimo taisyklės, rąstų segmentavimas nuotraukose su dirbtiniu intelektu (SAM) ir 3D aukščio žemėlapis.
• Triukšmas. Bandymų stende, sujungus 20 kadrų, gylio triukšmas buvo apie 0,8–1,3 mm.
• Objektai. Rąstai – 2600–3300 mm ilgio, maždaug 100–130 mm skersmens.
• Griebtuvas. Dvi Delta ASDA-A2 servopavaros, valdomos per CANopen. Abi pavaros startuoja kartu 0 ± 2 ms tikslumu, suspaudimas ar atleidimas trunka apie 0,22–0,25 s.
• Ryšys su robotu. KRL moduliai ir EthernetKRL – kompiuteris perduoda robotui paėmimo koordinates. Apie tokį valdymą iš išorės – straipsnyje robotų programavimas.
• Operatorius. Operatoriaus pultas veikia vietiniame tinkle, operatorius bet kada gali pristabdyti darbą.

Sauga: AI siūlo, sauga leidžia

Vaizdo apdorojimas ir neuroniniai tinklai nusprendžia, kurį objektą imti ir kur jį suimti, bet judesio jie neleidžia. Judesį visada leidžia saugos grandinė. Gerai suprojektuotoje bin picking sistemoje neaiški situacija reiškia ne bandymą „gal pavyks“, o sustojimą ir aiškų pranešimą operatoriui.

Ką paruošti prieš bin picking projektą

• Kelis realius objektus arba nuotraukas, kaip jie guli krūvoje ar dėžėje.
• Objektų matmenis, svorį ir paviršiaus pobūdį: blizgus, tamsus, drėgnas, nelygus.
• Reikalaujamą ciklo laiką.
• Kur objektas keliauja po paėmimo ir kaip jis turi būti orientuotas.
• Kokia įranga jau yra: staklės, PLC, saugos įranga.

Regos projektus pradedame nuo bandymo su jūsų realiomis detalėmis – dar prieš didesnes investicijas. Bandymams turime savo KUKA ir Yaskawa Motoman robotus. Daugiau – mašininio matymo ir robotų integracijos paslaugose bei projektuose. Turite krūvą detalių, kurias dabar krauna žmogus? Susisiekite – pažiūrėsime, ar robotas su 3D kamera jas paims.