Development of intelligent systems using augmented reality and machine learning techniques

---

Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Dokuz Eylül Üniversitesi, Fen Bilimleri Enstitüsü, Bilgisayar Mühendisliği Ana Bilim Dalı, Türkiye

Tezin Onay Tarihi: 2021

Tezin Dili: İngilizce

Öğrenci: RAMİZ YILMAZER

Danışman: DERYA BİRANT

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Tezin amacı, artırılmış gerçeklik ve makine öğrenmesi tekniklerini kullanarak akıllı sistemler geliştirmektir. Özellikle, perakende sektöründe rafta bulunabilirliği (OSA) yönetmeye ve kontrol etmeye odaklanılmıştır çünkü OSA'yı yüksek seviyede tutmak marketlerde karı artırmak için önemli bir faktördür. Son zamanlarda, OSA'yı izlemek için bilgisayarlı görü yaklaşımlarına artan bir ilgi vardır. Ancak, büyük ve iyi bilinen bilgisayarlı görü veri setleri, market ürünleri için etiketlenmiş resimler sunmamaktadır ve bu nedenle, ürünleri resimler üzerinde manuel olarak etiketlemek için büyük çaba gereklidir. Bu problemin üstesinden gelebilmek için tezde yeni bir yöntem önerilmektedir. Çalışmamız iki kavramı "yarı denetimli öğrenme" ve "rafta bulunabilirlik" (SOSA) ilk kez birleştirmektedir. Ayrıca, OSA'yı izlemek için "You Only Look Once" (YOLOv4) derin öğrenme mimarisi ilk kez kullanılmaktadır. İlave olarak, bu tez ile açıklanabilir yapay zeka (XAI) OSA üzerinde ilk kez uygulanmıştır. Bu kapsamda geliştirilen SOSA XAI adında yeni bir yazılım uygulaması yetenekleri ve avantajları ile birlikte sunulmaktadır. Ayrıca rafın son durumunu izlemek için SOSA AR adı verilen yeni bir artırılmış gerçeklik (AR) uygulaması geliştirilmiştir. Deneysel çalışmalarda, önerilen SOSA yönteminin etkinliği, %20 ile %80 arasında değişen oranlarda etiketlenmiş resimler içeren gerçek bir veri seti üzerinde doğrulanmıştır. Deneysel sonuçlar, önerilen yaklaşımın doğruluk açısından mevcut yaklaşımlardan (RetinaNet ve YOLOv3) daha iyi performansa sahip olduğunu göstermektedir.