Google'ın Gerçek Zamanlı El İzleme Algoritması, İşaret Dili Tanımayı İyileştirmek İçin Akıllı Telefon Kullanıyor

Gerçek Zamanlı El Takibi

İşaret Dili, dünya çapında milyonlarca insan tarafından kullanılmaktadır. Araştırmacılar, jestleri anlayabilen ve bunları otomatik olarak insanın anlayabileceği bir dile dönüştürebilen teknolojiler geliştirmek için çalışıyorlar. Ancak, bu tür projeler doğruluk açısından büyük bir başarı elde edememiştir.

Google yakın zamanda gerçek zamanlı el takibi için kullanılabilecek bir algoritma geliştirdi. Akıllı sistem, bir el haritası oluşturmak için makine öğreniminden yararlanıyor. Harita, bir kamera veya akıllı telefon yardımıyla oluşturulur. Sistemlerin çoğunun hızlı el hareketlerini doğru bir şekilde yakalayamadığı gerçeğini inkar edemeyiz. Google, bu araştırmada bu soruna özel olarak değinmiştir. İlginç bir şekilde, daha önce algoritmalar tarafından işlenen veri miktarını sınırladılar.

Gerçek Zamanlı El Takibi Nasıl Çalışır?

Mevcut projelerin çoğu, tüm elin boyutunu ve konumunu tespit ederek işaret dilini tercüme eder. Bu araştırma ile. araştırmacılar, farklı boyutlarda dikdörtgen şekilleri kullanma ihtiyacını ortadan kaldırdı. Google'ın sistemi, kare şeklindeki avuç içini tanır. İkinci olarak parmaklar için ayrı bir analiz işlemi yapılır.

El hareketleri

Araştırmacılar, makine öğrenme algoritmasını eğitmek için yaklaşık 30.000 el görüntüsü kullandı. Bu görüntüler farklı aydınlatma koşullarında ve pozlarda çekilmiştir. Sistem daha sonra el pozu ile top veya mutluluk gibi bilinen varlıkların listesi arasında bir karşılaştırma yaparak hareketi algılar. Google, jest tanımayı bir Blog yazısı .

Daha sonra parmak durumlarını bir dizi önceden tanımlanmış hareketle eşleştiriyoruz. Bu basit ama etkili teknik, temel statik hareketleri makul kalitede tahmin etmemize olanak tanır. Mevcut ardışık düzen, birden çok kültürden sayma hareketlerini destekler, ör. Amerikan, Avrupa ve Çin ve 'Başparmak', kapalı yumruk, 'Tamam', 'Rock' ve 'Örümcek Adam' gibi çeşitli el işaretleri.

bilgisayar performans testi

Son el izleme algoritması, hızı ve doğruluğu açısından son teknoloji sonuçlar üretir. Algoritma, çalıştırmak için MediaPipe çerçevesini kullanır. Bu teknik, işaret dili alanında büyük bir gelişme gibi görünüyor. Yine de iyileştirme için çok yer var. işaret dilini daha iyi anlamak için. Daha iyi sonuçlar elde etmek için herkes bu çalışmayı yüz ifadelerini ve iki elini kullanacak şekilde genişletebilir.

Google'dan herhangi bir haber gelmese de Google'ın bu gerçek zamanlı el izleme teknolojisini ürünlerinde kullanmak için iyileştirme olasılığı vardır. Bu arada, kodla oynamak istiyorsanız, GitHub'da herkese açık olarak mevcuttur .