Comparative Analysis of Language Model Produced and Human Produced Texts: An Investigation on Academic Texts


Koşaner Ö., Çimen B., Karacan P.

in: Günce Philology Studies 1, Veli Uğur, Editor, Günce Yayınları, Muğla, pp.141-154, 2023

  • Publication Type: Book Chapter / Chapter Research Book
  • Publication Date: 2023
  • Publisher: Günce Yayınları
  • City: Muğla
  • Page Numbers: pp.141-154
  • Editors: Veli Uğur, Editor
  • Dokuz Eylül University Affiliated: Yes

Abstract

This research aims to clarify the linguistic differences that distinguish texts created by human authors from texts created by large language models. By analysing the structural, stylistic and semantic features that can distinguish between these two categories of texts, we aim to contribute to a deeper understanding of the implications of the use of AI-generated content in academic texts. We also aim to elucidate the reasons behind the growing concerns about the use of large language models, focusing on the fact that these models potentially increase the risk of plagiarism in academic texts. In the following sections of this paper we will investigate the linguistic similarities and differences in text creation by both humans and large language models. Through this review, we will try to reveal some of the distinctive features between the content produced by artificial intelligence and the texts created by human authors, and to shed light on the studies and methods for detecting commonalities for educators and related institutions. In our study, we will analyse 30 texts written by human authors and the same number of texts generated by artificial intelligence. When analysing the data, we will consider sentence length, lexical richness and lexical diversity, lexical tag distribution, constituent lengths and types as the main criteria under the morpho-syntactic analysis subsection. 

Bu araştırma, insan yazarlar tarafından oluşturulan metinleri büyük dil modelleri tarafından oluşturulan metinlerden ayıran dilsel farklılıklara ışık tutmaya çalışmaktadır. Bu iki metin kategorisini birbirinden ayırabilecek yapısal, biçimsel ve anlamsal ayırtıları inceleyerek, yapay zekâ tarafından üretilen içeriğin akademik metinlerde kullanılmasının sonuçlarının daha derinlemesine anlaşılmasına katkıda bulunmayı amaçlıyoruz. Ayrıca, bu modellerin akademik metinlerde intihali riskini artırabileceğine odaklanarak, büyük dil modellerinin kullanımına ilişkin artan endişelerin arkasındaki nedenleri aydınlatmayı amaçlıyoruz.

Bu makalenin ilerleyen bölümlerinde hem insanlar hem de büyük dil modelleri tarafından metin oluşturmanın dilbilimsel benzerliklerini ve farklılıklarını inceleyeceğiz. Bu inceleme yoluyla, eğitimcilere ve ilgili kurumlara yapay zekâ tarafından üretilen içerikler ile insan yazarlar tarafından oluşturulan metinler arasındaki ayırt edici bazı özellikleri ortaya koymaya, benzerlikleri saptamaya yönelik yapılan çalışmalara ve geliştirilen yöntemlere ışık tutmaya çalışacağız.

Çalışmamızda insan yazarlar tarafından oluşturulmuş 30 metin ile yapay zekâ tarafından oluşturulmuş aynı sayıda metni inceleyeceğiz. Verileri incelerken, biçimsözdizimsel çözümleme alt başlığı altında, tümce uzunluğu, sözcük dağarcığının zenginliği ve sözcük çeşitliliği, sözcük türü etiketi dağılımı, kurucu uzunlukları ve türleri ölçütlerini temel alacağız.