Kapalı ortama uygun aktivite tespiti için derin öğrenme ile ses analizi

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Dokuz Eylül Üniversitesi, Mühendislik Fakültesi, Bilgisayar Mühendisliği Bölümü, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: İngilizce

Öğrenci: HALİL ÖZGEN DİNDAR

Danışman: Gökhan Dalkılıç

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Akıllı sistemler çevreden topladıkları verileri analiz ederek kullanıcının hayatını kolaylaştıran sonuçlar üretir. Akıllı sistemlere olan ihtiyaç ve kullanım alanı gün geçtikçe artmaktadır. Akıllı sistemlerin analiz etmesi için gerekli olan verinin niceliği ve niteliği ise analizin başarısını etkilemektedir. Bu sebeple ulaşılabilirliği ve örnek sayısının fazla olması ses verisinin popülerliğini arttırmıştır. Biz bu çalışmamızda uygun fiyatlı, kolay erişilebilir ve taşınabilir bir akıllı ortam yaratmayı amaçladık. Analiz için ses verisini spektrogramlara çevirerek elde edilen görüntüleri evrişimli sinir ağını eğitmek için kullandık. Eğitim için resim birleştirme, çoklu girdi ve öğrenme aktarımı olmak üzere üç farklı yöntem kullanıldı. En başarılı sonuçlar yüzde 87,26 başarı ile transfer öğrenme yöntemiyle elde edildi. Veri seti olarak ise ESC 50 veri setinden alınmış sekiz farklı kapalı ortama uygun ses seçilmiştir. Elde edilen sonuçların teoride kalmaması için eğitilen modeller ev ortamında kaydedilmiş ses verileri ile test edildi. Test sonuçlarının ortalaması, ESC veri seti ile elde edilen test sonucundan düşük olsa da bazı ses tiplerinde yüzde yüze varan başarı elde edilmiştir. Bu amaçla kayıt ve analiz işlemlerini yapabilmesi için akıllı telefon uygulaması prototipi geliştirildi.