Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, cilt.23, sa.68, ss.435-457, 2021 (Hakemli Dergi)
Information flow between the systems can be quantified by using the measures that are derived from
entropies by observing the state variables. In this study, the mutual information and the transfer
entropy of the coupled Gaussian processes and the entropy of the bistable system have been
estimated for this purpose. Information measures of the systems have been obtained by the
histogram, kernel density estimator, k-nearest neighbor entropy estimator and kpN entropy
estimator for the different parameters. Normalized bias and normalized standard error have been
calculated to determine the performance of the estimation of the entropy measures. The optimal
parameters of the entropy estimators of information measures have been obtained. It is shown that
k-nearest neighbor entropy estimator has the best performance for the coupled Gaussian processes.
Additionally, the entropy of a nonlinear system i.e. the bistable system has been estimated. While
kernel density estimator and k-nearest neighbor entropy estimator have succeeded in achieving the
estimation of the entropy in the bistable system, it is shown that normalized bias and normalized
standard error of histogram and k-nearest neighbor method have high ratios. The entropy
estimations of the coupled dynamical systems have been estimated with considerable accuracy when
the optimal parameters of the entropy estimations have been used. The transfer entropy of a real
dataset has also been estimated via these methods. We have discussed the statistical significance of
the estimation methods of transfer entropy by using a hypothesis test. The study provides a way to
determine information measures that quantify the uncertainty of the systems and information flows
between the systems, accurately.
Sistemler arasındaki bilgi akışını sistem durumları kullanılarak entropiden türetilen ölçüler yardımı
ile nicelendirebiliriz. Bu çalışmada birbirine bağlanmış Gauss süreçlerinin ortak bilgi ölçüsü, aktarım
entropisi ve iki durumlu sistemin entropisi bu amaçla kestirilmiştir. Sistemlerin bilgi ölçüleri
histogram, çekirdek yoğunluk kestirimcisi, k-en yakın komşuluklu entropi kestirimcisi ve kpN entropi
kestirimcisinin farklı parametreleri için elde edilmiştir. Ölçülerin kestirim başarımını belirlemek için
normalize olmuş kestirim yanlılık ve normalize olmuş standart hata değerleri hesaplanmıştır.
Kestirimcilerin en iyi parametreleri bu ölçüler için saptanmıştır. k-en yakın komşuluklu
kestirimcisinin birbirine bağlanmış Gauss süreçleri için en iyi performansa sahip olduğu
gösterilmiştir. Buna ek olarak, doğrusal olmayan iki durumlu sistemin entropisi kestirilmiştir.
Çekirdek yoğunluk kestirimcisi ve kpN entropi kestirimcisi bu sistem için entropi kestiriminde
başarılı olduğu, histogram ve k-en yakın komşuluklu entropi kestirimcilerinin normalize olmuş
kestirim yanlılığının ve normalize olmuş standart hata oranlarının yüksek olduğu gösterilmiştir.
Entropi kestirimlerinin bulunan en iyi parametreleri kullanıldığında birbirine bağlanmış dinamik
sistemlerin entropi kestirimleri yüksek doğrulukla kestirilir. Aktarım entropisi bahsedilen entropi
yöntemleri kullanılarak gerçek bir veri kümesi için kestirilmiş ve hipotez testleri yardımı ile aktarım
entropisini kestiren yöntemlerin istatiksel önem dereceleri incelenmiştir. Bu çalışma sistemlerin
belirsizliği ve sistemler arasındaki bilgi akışını temsil eden bilgi ölçüsü parametrelerini uygun şekilde
belirlememiz için bir yol sunar.