Relevance of research of programs for semantic analysis of texts and review of methods of their realization

Abstract

One of the main tasks of applied linguistics is the solution of the problem of high-quality automated processing of natural language. The most popular methods for processing natural-language text responses for the purpose of extraction and representation of semantics should be systems that are based on the efficient combination of linguistic analysis technologies and analysis methods. Among the existing methods for analyzing text data, a valid method is used by the method using a vector model. Another effective and relevant means of extracting semantics from the text and its representation is the method of latent semantic analysis (LSA). The LSA method was tested and confirmed its effectiveness in such areas of processing the native language as modeling the conceptual knowledge of the person; information search, the implementation of which LSA shows much better results than conventional vector methods. Одним із найголовніших завдань прикладної лінгвістики є розв’язання проблеми якісної автоматизованої обробки природної мови. Найпопулярнішими методами обробки природномовних текстових відповідей з метою екстракції та репрезентації семантики мають бути системи, які ґрунтуються на ефективному поєднанні лінгвістичних технологій аналізу та методів аналізу. Серед існуючих методів аналізу текстових даних чинне місце посідає метод з використанням векторної моделі. Іншим ефективним і актуальним засобом вилучення семантики із тексту та її представлення є метод латентно-семантичного аналізу (ЛСА). Метод ЛСА пройшов випробування та підтвердив свою ефективність у таких напрямках обробки природної мови, як моделювання концептуальних знань людини; інформаційний пошук, при реалізації якого ЛСА показує набагато кращі результати порівняно із звичайними векторними методами.