Apple araştırmacıları, kas sinyallerini analiz ederek el jestlerini tanıyabilen yeni bir yapay zeka modeli geliştirdi. Modelin öne çıkan özelliği, eğitim veri setinde bulunmayan ve daha önce karşılaşmadığı yeni el jestlerini de algılayabilmesi. Araştırma, Apple’ın Machine Learning Research blogunda yayımlandı ve nisan ayında düzenlenecek Uluslararası Öğrenme Temsilleri Konferansı’nda (ICLR) ayrıntılı biçimde sunulacak.
Çalışmanın temelinde elektromiyografi (EMG) teknolojisi bulunuyor. EMG, kasların kasılması sırasında ortaya çıkan elektriksel aktivitenin ölçülmesini sağlıyor. Tıp ve protez kontrolü alanlarında uzun süredir kullanılan bu yöntem, son dönemde giyilebilir cihazlar ile artırılmış ve sanal gerçeklik sistemlerinde de değerlendiriliyor. Apple ekibi ise mevcut donanımlara bağlı kalmak yerine, açık kaynaklı EMG2Pose ve Ninapro DB2 veri setlerinden yararlanarak model eğitmeye odaklandı.
Araştırmacılar, kas sinyalleriyle el pozisyonu verileri arasındaki farkı gidermek amacıyla EM Bridge adını verdikleri bir sistem tasarladı. Sistem, ilk aşamada kas sinyalleri ve el pozisyonu verilerini ayrı ayrı kullanarak ön eğitimden geçirildi. Ardından iki veri türü eşleştirildi ve modelin kas sinyallerinden el hareketlerine ilişkin kalıpları öğrenmesi sağlandı.
EM Bridge’in eğitim sürecinde kullanılan yöntemlerden biri de “maskelenmiş poz onarımı” oldu. Bu yöntemde el pozisyonu verilerinin bir bölümü gizlendi ve yapay zekadan, eksik kısımları yalnızca kas sinyallerini değerlendirerek tamamlaması istendi. Araştırmaya göre sistem, geleneksel modellere kıyasla eğitim verisinin yalnızca yüzde 40’ını kullanarak mevcut yöntemlerden daha başarılı sonuç elde etti.
Modelin özellikle “zero-shot classification” olarak adlandırılan, eğitim sırasında görülmemiş jestleri tanıma alanında yüksek performans gösterdiği belirtildi. Bununla birlikte sistemin eğitilebilmesi için EMG sinyalleriyle eş zamanlı kaydedilmiş kapsamlı el pozisyonu verilerine ihtiyaç duyuluyor. Bu nitelikteki veri setlerinin hazırlanması ise zahmetli ve zaman alan bir süreç olarak öne çıkıyor.
Apple’ın teknolojiyi hangi ürünlerde kullanacağı henüz resmi olarak açıklanmadı. Buna karşın sistemin giyilebilir cihazlarda yeni etkileşim biçimleri sunabileceği değerlendiriliyor. Araştırma, fiziksel engeli bulunan kişilerin cihazları yalnızca kas hareketleri veya küçük el jestleriyle kontrol edebilmesine olanak sağlayabilecek erişilebilirlik uygulamalarına da işaret ediyor.
