Derin Öğrenme Yöntemiyle İşaret Dili Tanıma Modellemesi

Özet

Bu çalışma, hafif ve erişilebilir bir mimari kullanarak Türk İşaret Dili'nin (TİD) tanınması için derin öğrenme tabanlı bir sistemin geliştirilmesini sunmaktadır. Önerilen model, 15 el hareketi sınıfından oluşan özel bir veri kümesi üzerinde eğitilmiş ve ResNet50 evrişimli sinir ağından yararlanarak Apple'ın Create ML platformu aracılığıyla uygulanmıştır. El hareketlerinden uzamsal özellikleri çıkarmak için MediaPipe çerçevesi kullanılmış ve bu çerçeve 21 el işaretinin sağlam bir şekilde izlenmesini sağlamıştır. Önceden eğitilmiş modeller ve basitleştirilmiş özellik gösterimlerinin entegre edilmesiyle sistem, sınıflandırma doğruluğu ve enerji verimliliği arasında bir denge kurmuştur. Deneysel sonuçlar, modelin yaklaşık %94'lük bir genel sınıflandırma doğruluğuna ulaştığını ve değişken ışık ve arka plan koşullarında bile güçlü bir performans gösterdiğini göstermektedir. Ek olarak, bir karışıklık matrisi analizi sistemin güçlü yönlerini vurgulamakta ve özellikle görsel olarak benzer hareketler arasında belirli sınıflara özgü belirsizlikleri ortaya koymaktadır. Modelin hafif yapısı ve minimum donanım gereksinimleri, onu eğitim kurumları, sağlık tesisleri ve diğer kamusal alanlarda kullanıma uygun hale getirmektedir. Bu çalışma, kapsayıcı iletişim teknolojileri üzerine giderek artan araştırma birikimine katkıda bulunmakta ve TİD gibi yeterince temsil edilmeyen dillerde gerçek zamanlı, cihaz düzeyinde işaret dili tanımaya doğru pratik bir adım sunmaktadır.