scidialНаучный диалогNauchnyi dialog2225-756X2227-1295Limited Liability Company "Center for Scientific and Educational Projects" (CSEP)10.24224/2227-1295-2023-12-7-47-65scidial-4797Research ArticleЯЗЫКОЗНАНИЕLINGUISTICSТиповые различия естественных и сгенерированных нейронной сетью текстов в квантитативном аспектеTypological Differences of Natural and Neural Network-Generated Texts in a Quantitative Aspecthttps://orcid.org/0000-0001-9130-2941ТельповР. Е.TelpovR. E.

Тельпов Роман Евгеньевич, кандидат филологических наук, доцент кафедры общего и русского языкознания

Москва

Roman E. Telpov, PhD in Philology, Associate Professor, Department of General and Russian Linguistics

Moscow

roman-tel-pov@yandex.ruhttps://orcid.org/0009-0008-8347-9710ЛарцинаС. В.LartsinaS. V.

Ларцина Станислава Витальевна, магистрант, кафедра общего и русского языкознания

Москва

Stanislava V. Lartsina, Master’s degree student, Department of General and Russian Linguistics

Moscow

stasya-200@list.ruГосударственный институт русского языка им. А. С. ПушкинаРоссияPushkin State Russian Language InstituteRussian Federation2023051020231274765Copyright © Тельпов Р.Е., Ларцина С.В., 20232023Тельпов Р.Е., Ларцина С.В.Telpov R.E., Lartsina S.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.nauka-dialog.ru/jour/article/view/4797

Авторы статьи выявляют отличительные черты в текстах, написанных людьми, и в текстах, созданных нейросетью GPT-3. Тексты, сгенерированные GPT-3, еще не становились предметом систематического углубленного изучения. Рассмотрено 160 текстов, распределенных по четырем темам («Высшее образование в моих глазах», «Как оставаться человеком в нечеловеческих условиях?», «Как я провёл лето?», «Педагог года»), 80 из которых созданы нейросетью, а 80 — людьми. Тексты проанализированы с использованием методов квантитативной лингвистики. К каждому из текстов при помощи программы AntConc составлен конкорданс, из которого были получены количественные значения, используемые для дальнейшего анализа. Сделаны следующие выводы: (1) в сгенерированных текстах слова, включённые в заголовок, встречаются с наибольшей частотностью; (2) относительная частота употребления слов, включённых в заголовок, нецелесообразно завышена; (3) в список 20-ти самых частотных слов во всех сгенерированных текстах входит наибольшее количество полнозначных слов; (4) коэффициент лексического разнообразия в естественных текстах значительно выше, нежели у сгенерированных. Результаты исследования могут быть полезны как преподавателям, так и специалистам в области машинного обучения.

The authors of this article identify distinctive features in texts written by humans and texts generated by the GPT-3 neural network. Texts generated by GPT-3 have not yet been subject to systematic in-depth study. In total, 160 texts were analyzed in the article, distributed across four topics (“Higher Education in My Eyes,” “How to Remain Human in Inhuman Conditions,” “How I Spent the Summer,” “Teacher of the Year”), with 80 texts generated by the neural network and 80 texts written by humans. The texts were analyzed using quantitative linguistic methods. A concordance was compiled for each text using the AntConc program, from which quantitative values were obtained for further analysis. The authors reached the following conclusions: (1) in the generated texts, words included in the title occur with the highest frequency; (2) the relative frequency of words included in the title is unreasonably inflated; (3) the list of the 20 most frequent words in all generated texts includes the highest number of full-fledged words; (4) the lexical diversity coefficient in the examined natural texts is significantly higher than that of the generated texts. The findings of this research can be useful for both educators and machine learning specialists. 

искусственный интеллектчат-ботнейросетьквантитативная лингвистикасгенерированный текстлеммаконкор-данскоэффициент лексического разнообразияartificial intelligencechatbotneural networkquantitative linguisticsgenerated textlem-maconcordancelexical diversity coefficientReferencesБорунов, А. Б. Разнообразие речи и методы его измерения в тексте (лингвостатистический подход) / А. Б. Борунов // Litera. — 2017. — № 4. — С. 81—86.Borunov, A. B. (2017). Diversity of speech and methods of measuring it in text (linguostatistical approach). Litera, 4: 81—86. (In Russ.).Бурнашев Р. Ф. Роль нейронных сетей в лингвистических исследованиях / Р. Ф Бурнашев, А. С. Аламова // Science and Education. — 2023. — № 3. — С. 258—269.Burnashev, R. F., Alamova, A. S. (2022). Quantitative linguistics and artificial intelligence. Science and Education, 3(2): 1390—1402. (In Russ.).Бурнашев Р. Ф. Квантитативная лингвистика и искусственный интеллект / Р. Ф. Бурнашев, А. С. Аламова // Science and Education. — 2022. — Т. 3, № 2. — С. 1390—1402.Burnashev, R. F., Alamova, A. S. (2023). The role of neural networks in linguistic research. Science and Education, 3: 258—269. (In Russ.).Галушкин А. И. Нейронные сети [Электронный ресурс] / А. И. Галушкин // Большая российская энциклопедия. — 2022. — 16 ноября. — Режим доступа : https://old.bigenc.ru/technology_and_technique/text/4114009 (дата обращения: 20.06.2023).Cohen, A., Mantegna, R., Havlin, S. (2011). Numerical Analysis of Word Frequencies in Artificial and Natural Language Texts. Fractals, 5 (1): 1—19. DOI: 10.1142/S0218348X97000103.Головин Б. Н. Язык и статистика / Б. Н. Головин. — Москва : Просвещение, 1971. — 190 с.Dale, R. (2021). GPT-3: What’s it good for? Natural Language Engineering, 27 (1): 113— 118. DOI: 10.1017/S1351324920000601.Захарова Е. Ю. Лексическое разнообразие текста и способы его измерения / Е. Ю. Захарова, О. Ю. Савина // Вестник Тюменского государственного университета. Гуманитарные исследования. Humanitates. — 2020. — Т. 6, № 1 (21). — С. 20—34. — DOI: 10.21684/2411-197X-2020-6-1-20-34.Dinesh, K., Nathan, S. (2023). Study and Analysis of Chat GPT and its Impact on Different Fields of Study. International Journal of Innovative Science and Research Technology (IJISRT), 8 (3): 827—833. DOI: 10.5281/zenodo.7767675.Насырова Г. Н. Обзор современных сервисов и программного обеспечения квантитативной лингвистики / Г. Н. Насырова, Ш. Х. Амонова, Р. Ф. Бурнашев // Science and Education. — 2022. — Т. 3, №. 12. — С. 450—462.Floridi, L., Chiriatt, M. (2020). GPT-3: Its Nature, Scope, Limits, and Consequences. Minds and Machines, 30 (2): 1—14. DOI: 10.1007/s11023-020-09548-1.«Речевое творчество» искусственного интеллекта : какие тексты пишет машина и чем они отличаются от людских / А. Ю. Краснояров, М. А. Аргузова, Ж. А. Хужамурадов, С. Р. Рахимов // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Серия 6: Языкознание. Реферативный журнал. — 2022. — № 2. — С. 41— 49. — DOI: 10.31249/ling/2022.02.02.Galushkin, A. I. (2022). Neural networks. In: Great Russian Encyclopedia, 16 november. Available at: https://old.bigenc.ru/technology_and_technique/text/4114009 (accessed 06.20.2023). (In Russ.).Юхан Т. Проблемы и методы квантитативно-системного исследования лексики / Т. Юхан. — Таллин : Валгус, 1987. — 204 с.Golovin, B. N. (1971). Language and statistics. Moscow: Education. 190 p. (In Russ.).Cohen A. Numerical Analysis of Word Frequencies in Artificial and Natural Language Texts / A. Cohen, R. Mantegna, S. Havlin // Fractals. — 2011. — Vol. 5, no. 01. — Pp. 1—19. — DOI: 10.1142/S0218348X97000103.Kettunen, K. (2014). Can Type-Token Ratio be Used to Show Morphological Complexity of Languages? Journal of Quantitative Linguistics, 21(3): 223—245. DOI: 10.1080/09296174.2014.911506.Dale R. GPT-3: What’s it good for? / R. Dale // Natural Language Engineering. — 2021. — Vol. 27, no. 1. — Pp. 113—118. — DOI: 10.1017/S1351324920000601.Klee, T., Gavin, W. J., Stokes, S. F. (2017). Utterance length and lexical diversity in American and British–English speaking children: What is the evidence for a clinical marker of SLI? In: Language Disorders From a Developmental Perspective. New York. 103—140. DOI: 10.4324/9781315092041-4.Dinesh K. Study and Analysis of Chat GPT and its Impact on Different Fields of Study / K. Dinesh, S. Nathan // International Journal of Innovative Science and Research Technology (IJISRT). — 2023. — Vol. 8, no. 3. — Pp. 827—833. — DOI: 10.5281/zenodo.7767675.Krasnoyarov, A. Yu., Arguzova, M. A., Khuzhamuradov, Zh. A., Rakhimov, S. R. (2022). “Speech creativity” of artificial intelligence: what texts a machine writes and how they differ from human ones. Social and Humanitarian Sciences. Domestic and foreign literature. Episode 6: Linguistics. Abstract journal, 2: 41—49. DOI: 10.31249/ling/2022.02.02. (In Russ.).Floridi L. GPT-3: Its Nature, Scope, Limits, and Consequences / L. Floridi, M. Chiriatt // Minds and Machines. — 2020. — Vol. 30, no. 2. — Pp. 1—14. — DOI: 10.1007/s11023-020-09548-1.McCarthy, P. M., Jarvis, S. (2007). Voc-D: a theoretical and empirical evaluation. Language Testing, 24 (4): 459—488. DOI: 10.1177/0265532207080767.Kettunen K. Can Type-Token Ratio be Used to Show Morphological Complexity of Languages? / K. Kettunen // Journal of Quantitative Linguistics. — 2014. — Vol. 21, no. 3. — Pp. 223—245. — DOI: 10.1080/09296174.2014.911506.McCarthy, P. M., Jarvis, S. (2010). MTLD, vocd-D, and HD-D: a validation study of sophisticated approaches to lexical diversity assessment. Behavior Research Methods, 42 (2): 381—392.Klee T. Utterance length and lexical diversity in American and British–English speaking children: What is the evidence for a clinical marker of SLI? / T. Klee, W. J. Gavin, S. F. Stokes // Language Disorders From a Developmental Perspective. — New York, 2017. — Pp. 103—140. — DOI: 10.4324/9781315092041-4.Nasyrova, G. N., Amonova, Sh. Kh., Burnashev, R. F. (2022). Review of modern services and software of quantitative linguistics. Science and Education, 3 (12): 450—462. (In Russ.).McCarthy P. M. Voc-D: a theoretical and empirical evaluation / P. M. McCarthy, S. Jarvis // Language Testing. — 2007. — Vol. 24, no. 4. — Pp. 459—488. — DOI: 10.1177/0265532207080767.Qaiser, S., Ali, R. (2018). Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents. International Journal of Computer Applications, 181 (1): 25—29.McCarthy P. M. MTLD, vocd-D, and HD-D: a validation study of sophisticated approaches to lexical diversity assessment / P. M. McCarthy, S. Jarvis // Behavior Research Methods. — 2010. — Vol. 42, no. 2. — Pp. 381—392.Somers, H. H. (1966). Statistical methods in literary analysis. In: The Computer and Literary Style. Kent, OH: Kent State University. 128—140.Qaiser S. Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents / S. Qaiser, R. Ali // International Journal of Computer Applications. — 2018. — 181 (1). — Pp. 25—29.Tweedie, F. J., Baayen, R. H. (1998.).How variable may a constant be? Measures of lexical richness in perspective. Computers and the Humanities, 32: 323—352.Somers H. H. Statistical methods in literary analysis / H. H. Somers // The Computer and Literary Style / J. Leeds (еd.). — Kent, OH : Kent State University. — 1966. — Рр. 128—140.Yukhan, T. (1987). Problems and methods of quantitative-systematic research of vocabulary. Tallinn: Valgus. 204 p. (In Russ.).Tweedie F. J. How variable may a constant be? Measures of lexical richness in perspective / F. J. Tweedie, R. H. Baayen // Computers and the Humanities. — 1998. — Vol. 32. — Pp. 323—352.Zakharova, E. Yu., Savina, O. Yu. (2020). Lexical diversity of text and ways of measuring it. Bulletin of Tyumen State University. Humanities studies. Humanities, 6 (1): 20—34. DOI: 10.21684/2411-197X-2020-6-1-20-34. (In Russ.).Zenker F. Investigating minimum text lengths for lexical diversity indices / F. Zenker, K. Kyle // Assessing Writing. — 2021. — Vol. 47, no. 2. — DOI: 10.1016/j.asw.2020.100505.Zenker, F., Kyle, K. (2021). Investigating minimum text lengths for lexical diversity indices. Assessing Writing, 47 (2). DOI: 10.1016/j.asw.2020.100505.

The authors declare that there are no conflicts of interest present.