Google DeepMind julkaisi 25. syyskuuta kuvan, jossa näkyy, kuinka sen humanoidiset alustat selviävät monivaiheisista arkipäivän tehtävistä multimodaalisen päättelyn avulla. Sarjassa esittelyjä koneet suorittivat varmoin ottein toimintasarjoja, mukaan lukien esineiden lajittelun ennalta määriteltyjen sääntöjen mukaan.
Näiden järjestelmien älykkyys perustuu Gemini Robotics 1.5 -perheeseen. Yhdessä toimivat kaksi komponenttia: perusmalli muuntaa visuaaliset signaalit ja tekstivihjeet konkreettisiksi liikkeiksi, ja Gemini Robotics-ER 1.5 -modifikaatio laatii vaiheittaiset suunnitelmat ja pohtii nykyistä tilannetta valitsemalla toimien järjestyksen.
Niin kutsuttu banaanitesti osoittaa hyvin edistymisen. Aiemmin robotin piti vain ottaa banaani ja laittaa se kulhoon – yksi komento, yksi tulos. Nyt laite lajitteli kolme erilaista hedelmää värin mukaan ja jakoi ne lautasille. Kokeen esitteli Google DeepMindin vanhempi tutkija Jie Tang; Franka-manipulaattoreihin perustuva kaksikätinen järjestelmä suoritti koko sarjan virheettömästi.
Apptronikin humanoidialusta Apollon kykyjä testattiin erikseen pyykkitehtävässä. Kone lajitteli vaatteet sävyjen mukaan kahteen astiaan – valkoisiin ja mustiin. Ensimmäisen onnistuneen yrityksen jälkeen insinöörit vaihtoivat astioiden paikkaa selvittääkseen, huomaako laite muutoksen prosessin aikana ja korjaako se toimintaansa. Apollo tunnisti uuden järjestyksen ja suoritti lajittelun oikein.
Gemini Robotics 1.5 tukee toteutettua oppimista: robotti tutkii ympäristöään rungolla, antureilla ja kameroilla ja toimii sitten omien havaintojensa perusteella. Useimmissa jaksoissa toimi ALOHA 2, mutta samat skenaariot sopivat myös Apollolle ja kaksikätiselle Franka-laitteelle. Myös agenttitoiminnot ovat tulleet käyttöön. Järjestelmälle voidaan esimerkiksi antaa tehtäväksi erillinen keräys: se etsii verkosta paikalliset säännöt, arvioi visuaalisesti jokaisen esineen, luokittelee sen kompostiin, kierrätykseen tai jätteeksi ja suorittaa koko ketjun – päätöksestä hävittämiseen oikeaan astiaan.
Tällainen johdonmukaisuus saavutetaan kahden komponentin yhteistyöllä: toinen vastaa havainnoinnista liikkeeseen, toinen suunnittelusta ja logiikasta. Tämän arkkitehtuurin ansiosta todellisten tehtävien suorittaminen on selkeämpää ja luotettavampaa.
Turvallisuuteen on kiinnitetty erityistä huomiota. Robotteja opetetaan arvioimaan riskejä etukäteen, noudattamaan ihmisten asettamia rajoituksia ja välttämään vaarallisia tilanteita. Profiilitiimien tuella ja päivitetyn ASIMOV-testin avulla Gemini Robotics-ER 1.5 -versio nousi testien kärkeen, mikä helpottaa tällaisten järjestelmien huolellista käyttöönottoa laboratorion ulkopuolella.
