Разработка эргономичного приложения-помощника на основе нейронной сети

Целью работы является разработка структурированной модели для обучения нейронной сети на основе электронной энциклопедии.

Методы. В данной работе были использованы методы для анализа текстовых статей: 1) TF-IDF – это статистическая мера, используемая для оценки важности термов в документе относительно корпуса документов. Она вычисляет относительную важность термов, учитывая частоту их появления в документе или всем корпусе документов. TF-IDF позволяет выделить ключевые термины, которые характеризуют содержание каждого документа. 2) Кластеризация методом k-средних++ – это метод машинного обучения, применяемый для разделения объектов на группы (кластеры) на основе их сходства. Этот метод позволил создать новые категории статей на основе их содержания. 3) Метод t-SNE – это метод визуализации сложных многомерных данных в двух или трех измерениях.

Результаты. Анализ текстовых статей с использованием методов обработки естественного языка, таких как TF-IDF, и их кластеризация методом k-средних++ позволяют создать новые категории статей на основе их содержания. В данной работе был получен результирующий график кластеризации, который показал хорошо разделенные кластеры с высокой точностью.

Заключение. Для анализа уникальности триграмм в статьях были использованы значения TF-IDF. Триграммы были классифицированы на различные группы уникальности, что позволяет выявить области, где статьи содержат высокую уникальность триграмм. Комбинации различных групп уникальности могут указывать на разные тематические аспекты или контексты в текстах. Дополнительно, с помощью метода t-SNE был получен график кластеризации, который визуально выделяет новые категории статей. Этот график помогает наглядно представить структуру кластеров и их взаимное расположение в двух измерениях. Таким образом, исследование позволяет более глубоко понять и систематизировать содержание статей и выделить связи между ними.

1. Ермаков П. Д., Федянин Р.В. Исследование методов машинного обучения в задаче автоматического определения тональности текстов на естественном языке // Новые информационные технологии в автоматизированных системах. 2015. №. 18. С. 600-615.

2. Шокина М. О. Применение алгоритма k-means++ для кластеризации последовательностей с неизвестным количеством кластеров // Новые информационные технологии в автоматизированных системах. 2017. №. 20. С. 160-163.

3. Крижановский А. А. Преобразование структуры словарной статьи Викисловаря в таблицы и отношения реляционной базы данных. URL: http://scipeople.com/publication/1000231.

4. Частикова В.А., Остапов Д.С. Применение методов кластеризации для повышения точности работы нейронных сетей // Современные проблемы науки и образования. 2015. № 1-1.

5. Соболева Е. Д., Попова И. А., Попова А. А. Визуализация многомерных наборов данных при помощи алгоритмов снижения пространства признаков pca и t-sne // StudNet. 2020. Т. 3. №. 11. С. 982-1004.

6. Прогнозирование живучести мультисервисной корпоративной сети связи / Ф.Ю. Лозбинев, А.С. Сазонова, А.А. Тищенко, Ю.А. Леонов // Вестник Брянского государственного технического университета. 2017. № 4 (57). С. 144-150.

7. Методология и технология проектирования информационных систем / Ю.М. Казаков, А.А. Тищенко, А.А. Кузьменко, Ю.А. Леонов, Е.А. Леонов. М.: Общество с ограниченной ответственностью ФЛИНТА, 2018. 136 с.

8. Лагерев А.В., Сазонова А.С., Филиппов Р.А. Модель оценки социально-демографического потенциала и его влияние на структуру высшего профессионального и послевузовского образования в регионе // Информационные системы и технологии. 2012. № 3 (71). С. 72-77.

9. Поиск оптимальных технологических процессов с использованием алгоритмов эвристического поиска / Ю.А. Леонов, Е.А. Леонов, А.С. Зуева, А.С. Сазонова // Вестник Брянского государственного технического университета. 2017. № 4 (57). С. 122-127.

10. Модель размещения данных во внутренней памяти вычислителя, реализующего схему кодирования данных в режиме сцепления блоков / М.О. Таныгин, А.А. Ахмад, О.В. Казакова, Д.А. Голубов // Известия Юго-Западного государственного университета. 2023; 27(1): 73-91. https://doi.org/10.21869/2223-1560-2023-27-1-73-91.

11. Экономическая безопасность в региональных социально-экономических системах / Е.Э. Аверченкова, А.В. Аверченков, Ю.А. Леонов, Д.В. Кравцов, Л.Б. Филиппова, Е.А. Леонов. М.: Общество с ограниченной ответственностью "ФЛИНТА", 2019. 157 с.

12. Разработка математической модели информационной системы для инвентаризации и мониторинга программного и аппаратного обеспечения на основе методов нечеткой логики / Р.А. Филиппов, Р.А. Филиппов, Л.Б. Филиппова, А.В. Аверченков, А.С. Сазонова, С.А. Шептунов //Качество. Инновации. Образование. 2018. № 7 (158). С. 105-112.

13. Аверченков В.И., Спасенников В.В., Филиппов Р.А. Исследование точности позиционирования объектов при оптической микроскопии с управлением через Интернет // Вестник Брянского государственного технического университета. 2012. № 1 (33). С. 125-130.

14. Сазонова А.С., Филиппова Л.Б., Филиппов Р.А. Оценка инновационного потенциала региона // Вестник Воронежского государственного университета инженерных технологий. 2017. Т. 79. № 2 (72). С. 273-279.

15. Жадаев Д.С., Кузьменко А.А., Спасенников В.В. Особенности нейросетевого анализа уровня подготовки студентов в процессе адаптивного тестирования их профессиональных компетенций // Вестник Брянского государственного технического университета. 2019. № 2 (75). С. 90-98

16. Кондратенко С.В., Кузьменко А.А., Спасенников В.В. Методология оценки деятельности операторов в человеко-машинных системах // Вестник Брянского государственного технического университета. 2017. № 1 (54). С. 261-270.

17. KMeansTrainer Класс. URL: https://docs.microsoft.com/ru-ru/dotnet/api/microsoft.ml.trainers.kmeanstrainer?view=ml-dotnet, свободный.

18. Реализация агентно-базированных метакомпьютерных систем и приложений / Н.С. Карамышева, Д.С. Свищев, К.В. Попов, С.А. Зинкин // Известия Юго-Западного государственного университета. 2022; 26(1): 148-171. https://doi.org/10.21869/2223-1560-2022-26-1-148-171.

19. Милостная Н. А. Исследование устойчивости нейро-нечёткой системы вывода, основанной на методе отношения площадей // Известия Юго-Западного государственного университета. 2021; 25(3): 70-85. https://doi.org/10.21869/2223-1560-2021-25-3-70-85.

20. Мартышкин А. И., Кирюткин И. А., Мереняшева Е. А. Автотестирование встраиваемой реконфигурируемой вычислительной системы // Известия Юго-Западного государственного университета. 2023; 27(1): 140-152. https://doi.org/10.21869/2223-1560-2023-27-1-140-152.