Robotların simülasyonda eğitilmesi, gerçek dünyada zorlanmasına sebep oluyor. Ancak, Georgia Institute of Technology ve Meta ekibinin yeni bir çalışması, robotların simülasyondan gerçek dünyaya geçişinde faydalı olabilecek bir eğitim yöntemi öneriyor.
Bu yeni yönteme göre, daha az detaylı bir simülasyonda eğitilen robotlar, daha gerçekçi bir simülasyonda eğitilenlere kıyasla gerçek dünyada daha iyi performans sergiliyor. Nedeni ise, daha ayrıntılı bir simülasyonda robotların hareket planlama algoritmalarının, simülasyondaki hatalara uyum sağlaması veya işlem yükü nedeniyle gerçek dünyada hareketlerinin yavaşlamasıdır.
Bu sorunu çözmek için, hareket planlamayı düşük seviyeli kontrolünden ayırıp robotları bir yerden diğerine hareketsiz şekilde taşıyarak eğitiyorlar. Ardından, hareket planlayıcı gerçek dünyada hareketi hesaplayan düşük seviyeli kontrolcüye komutlar gönderiyor. Bu yöntem, simülasyon hatalarını ve yoğun işlem yükünü önleyerek robotun gerçek dünyada daha sorunsuz çalışmasını sağlıyor.
Çalışma kapsamında, iki hareket planlayıcı, Boston Dynamics Spot robotunu simüle edilen ortamlarda hareket ettirmek için eğitildi. Bir planlayıcı hareketsiz şekilde taşıma yöntemiyle, diğeri ise hareketli bacakları simüle ederek eğitildi. Hareket planlayıcıları, DD-PPO adlı bir pekiştirmeli öğrenme yöntemi kullandı. Robotun kamera görüntüleri ve hedef konum bilgisi verildiğinde, hareket planlayıcılar, robotun merkezini hareket ettirmek için bir hız tahmini yaparak hedefe doğru yönlendirdi.
Eğitim sonucunda, her bir kontrolcüye sahip bir Spot robotu, gerçek bir ofis lobisinde test edildi. Eğitimde kullanılan düşük seviyeli kontrolcüler Spot’ın yerleşik kontrolcüsüyle değiştirildiğinde, hareketsiz şekilde taşıma yöntemiyle eğitilen hareket planlayıcının başarısı %100 iken, daha ayrıntılı simülasyonla eğitilen hareket planlayıcının başarısı %67,7 oldu.
Çalışmanın sonuçları, robotların gerçek dünyada daha başarılı olmak için daha yüksek bir doğrulukla simüle edilmesi gerektiği düşüncesine meydan okuyor. Bu fikir, robotun hareket planlama algoritmasının simülasyonun hatalarına aşırı uyum sağlamasına veya işlemde takılıp kalmasına neden olarak gerçek dünyadaki işlemi engelliyor. Ancak, düşük doğruluklu bir simülasyonda çalıştırmak, robotların gerçek dünyada daha başarılı olmasını sağlayabilir.
Bunun nedeni, düşük doğruluklu bir simülasyonda, robotun hareket planlamasının daha az ayrıntılı olması ve işlemci üzerinde daha az yük oluşturmasıdır. Bu çalışma, hareket planlamayı düşük ve yüksek seviyelerde ayrı ayrı ele alarak, hareket planlamayı yüksek doğruluklu simülasyondan ayırmayı ve robotu hareketsiz bir şekilde teleportlama yoluyla eğitmeyi önermektedir.
Çalışmanın yazarları, iki hareket planlayıcıyı (her biri konvolüsyonel sinir ağı ve LSTM’den oluşan) bir Boston Dynamics Spot robotunu simüle edilen ortamlarda hareket ettirmek için eğittiler. Bir planlayıcı teleportasyonla, diğeri ise simüle edilen bacaklarla hareket ettirerek eğitildi.
Planlayıcılar, DD-PPO adlı bir güçlendirme öğrenme yöntemi kullanarak, kapalı mekanların binlerce yüksek çözünürlüklü 3D modelinde hedef konumlara yönelmek için eğitildi. Hedeflere ulaşmak için ödüllendirildiler ve engellerle çarpışma, geri hareket etme veya düşme gibi durumlarda cezalandırıldılar.
Robotun kamerasından gelen bir dizi derinlik görüntüsü ve bir hedef konum verildiğinde, hareket planlayıcılar robotun ağırlık merkezini hareket ettirmek için bir hız (hız artı yön) tahmini yapmayı öğrendi.
Simülasyonda, bir planlayıcı, bacaklarını hareket ettirmeden robotu sadece teleportlama yaparak yeni bir konuma taşıyan basit bir düşük seviye kontrolcüye hızlar gönderdi. Diğeri ise, başka bir çalışmadan uyarlanan bir düşük seviye kontrolcüye hızları hareketlere dönüştürdü.
Sonuç olarak, bu araştırma, robotların gerçek dünyada daha iyi performans göstermelerine yardımcı olacak bir eğitim yöntemi önermektedir. Araştırmacılar, gerçekçi olmayan bir simülasyonda eğitilen robotların gerçek dünyada daha iyi performans gösterme eğiliminde olduğunu bulmuşlardır. Bu bulgu, daha az detaylı bir simülasyonun robotun gerçek dünyada daha pürüzsüz bir şekilde hareket etmesine olanak tanıyabileceğini göstermektedir. Bu araştırma, robotlar için daha etkili bir eğitim yöntemi bulma çabalarına ışık tutacak ve robotların gerçek dünyada daha başarılı bir şekilde kullanılabilmelerine olanak sağlayacaktır.
Turhan Can Kargın 