Застосування методів машинного навчання для генерації контенту

Слободянюк, Артем Валерійович

URI: http://elibrary.kdpu.edu.ua/xmlui/handle/123456789/10254

Date: 2024-06-12

Abstract:

У кваліфікаційній роботі проведено систематичний огляд застосування методів машинного навчання для генерації текстового контенту у 2022-2024 роках. Основними завданнями дослідження були аналіз передових методів глибокого навчання, метрик оцінювання ефективності моделей, наборів даних, нових застосувань та використаних природних мов у літературі за вказаний період. Огляд був проведений за методикою PRISMA на основі 43 статей, відібраних з бази даних Scopus за спеціальним пошуковим запитом. Результати показали домінування моделей на основі архітектури Transformer для генерації тексту, зростання популярності підходів з механізмами уваги та контрольованої генерації. Найуживанішими метриками залишаються BLEU, ROUGE та оцінка якості людьми, проте з'явилися нові метрики для всебічної оцінки згенерованого тексту. Набори даних стають різноманітнішими за типами та доменами, зростає інтерес до нерозмічених даних. Сфера застосування генерації тексту розширюється, охоплюючи генерацію з таблиць, графів знань, медичних текстів тощо. Попри домінування англійської мови, зростає інтерес до генерації текстів іншими мовами, особливо з обмеженими ресурсами. Отримані результати демонструють активний розвиток та еволюцію методів генерації текстового контенту з використанням штучних нейронних мереж та можуть бути корисними для дослідників і практиків у галузі обробки природної мови та штучного інтелекту.

Description:

1. A Brief History of Deep Learning-Based Text Generation / A. Bas [та ін.] // Proceedings of the International Conference on Computer and Applications, ICCA 2022 - Proceedings / за ред. J. M. Alja’Am [та ін.]. — Institute of Electrical, Electronics Engineers Inc., 2022. — DOI: 10.1109/ICCA56443.2022.10039545. 2. A quantum-like approach for text generation from knowledge graphs / J. Zhu [та ін.] // CAAI Transactions on Intelligence Technology. — 2023. — DOI: 10.1049/cit2.12178. 3. A Survey of Controllable Text Generation Using Transformer-based Pretrained Language Models / H. Zhang [та ін.]. — 2023. — DOI: 10.1145/3617680. 4. A Survey of Knowledge-enhanced Text Generation / W. Yu [та ін.] // ACM Computing Surveys. — 2022. — Т. 54, 11 s. — DOI: 10 . 1145 / 3512467. 5. A Systematic Literature Review on Text Generation Using Deep Neural Network Models / N. Fatima [та ін.] // IEEE Access. — 2022. — Т. 10. — С. 53490—53503. — DOI: 10.1109/ACCESS.2022.3174108. 6. Alonso I., Agirre E. Automatic Logical Forms improve fidelity in Table-to-Text generation // Expert Systems with Applications. — 2024. — Т. 238. — DOI: 10.1016/j.eswa.2023.121869. 7. Amin M. S., Mazzei A., Anselma L. Towards Data Augmentation for DRS-to-Text Generation // CEUR Workshop Proceedings / за ред. D. Nozza, L. Passaro, M. Polignano. — 2022. — Т. 3287. — С. 141—152. 8. An automatic text generation algorithm of technical disclosure for catenary construction based on knowledge element model / J. Wu [та ін.] // Advanced Engineering Informatics. — 2023. — Т. 56. — С. 101913. — DOI: https://doi.org/10.1016/j.aei.2023.101913. — URL: https://www.sciencedirect.com/science/article/pii/S1474034623000411. 9. An extensive benchmark study on biomedical text generation and mining with ChatGPT / Q. Chen [та ін.] // Bioinformatics. — 2023. — Т. 39, № 9. — DOI: 10.1093/bioinformatics/btad557. 10. awesomegpts.ai. Scholar GPT. — 2024. — URL: https://chatgpt.com/g/g-kZ0eYXlJe-scholar-gpt?oai-dm=1. 11. Chu X. Feature Extraction and Intelligent Text Generation of Digital Music // Computational Intelligence and Neuroscience. — 2022. — Т. 2022. — DOI: 10.1155/2022/7952259. 12. Computer Vision-Based Bengali Sign Language To Text Generation / T. Tazalli [та ін.] // 5th IEEE International Image Processing, Applications and Systems Conference, IPAS 2022. — Institute of Electrical, Electronics Engineers Inc., 2022. — DOI: 10.1109/IPAS55744.2022.10052928. 13. Concadia: Towards Image-Based Text Generation with a Purpose / E. Kreiss [та ін.] // Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, EMNLP 2022 / за ред. Y. Goldberg, Z. Kozareva, Y. Zhang. — Association for Computational Linguistics (ACL), 2022. — С. 4667—4684. 14. CONT: Contrastive Neural Text Generation / C. An [та ін.] // Advances in Neural Information Processing Systems. Т. 35 / за ред. S. Koyejo [та ін.]. — Neural information processing systems foundation, 2022. 15. Contrastive Latent Variable Models for Neural Text Generation / Z. Teng [та ін.] // Proceedings of Machine Learning Research. Т. 180 / за ред. J. Cussens, K. Zhang. — ML Research Press, 2022. — С. 1928—1938. 16. Controllable Text Generation Using Semantic Control Grammar / H. Seo [та ін.] // IEEE Access. — 2023. — Т. 11. — С. 26329—26343. — DOI: 10.1109/ACCESS.2023.3252017. 17. Controlled Text Generation with Natural Language Instructions / W. Zhou [та ін.] // Proceedings of Machine Learning Research. Т. 202 / за ред. A. Krause [та ін.]. — ML Research Press, 2023. — С. 42602—42613. 18. Data augmentation in natural language processing: a novel text generation approach for long and short text classifiers / M. Bayer [та ін.] // International Journal of Machine Learning and Cybernetics. — 2023. — Т. 14, № 1. — С. 135—150. — DOI: 10.1007/s13042-022-01553-3. 19. DFX: A Low-latency Multi-FPGA Appliance for Accelerating Transformer-based Text Generation / S. Hong [та ін.] // Proceedings of the Annual International Symposium on Microarchitecture, MICRO. 2022—October. — IEEE Computer Society, 2022. — С. 616—630. — DOI: 10.1109/MICRO56248.2022.00051. 20. Discourse-Aware Soft Prompting for Text Generation / M. Ghazvininejad [та ін.] // Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, EMNLP 2022 / за ред. Y. Goldberg, Z. Kozareva, Y. Zhang. — Association for Computational Linguistics (ACL), 2022. — С. 4570—4589. 21. Du H., Xing W., Pei B. Automatic text generation using deep learning: providing large-scale support for online learning communities // Interactive Learning Environments. — 2023. — Т. 31, № 8. — С. 5021—5036. — DOI: 10.1080/10494820.2021.1993932. 22. Enhancing Text Generation with Cooperative Training / T. Wu [та ін.] // Frontiers in Artificial Intelligence and Applications / за ред. K. Gal [та ін.]. — 2023. — Т. 372. — С. 2704—2711. — DOI: 10.3233/FAIA230579. 23. Explicit Syntactic Guidance for Neural Text Generation / Y. Li [та ін.] // Proceedings of the Annual Meeting of the Association for Computational Linguistics. Т. 1. — Association for Computational Linguistics (ACL), 2023. — С. 14095—14112. 24. Ganegedara T. Natural Language Processing with TensorFlow: Teach language to machines using Python’s deep learning library. — Birmingham – Mumbai : Packt Publishing, 2018. — URL: https://cdnpdf.com/pdf-38273-natural-language-processing-with-tensorflow-teach-language-to-machines-using-python%27s-deep-learning. 25. GenNI: Human-AI Collaboration for Data-Backed Text Generation / H. Strobelt [та ін.] // IEEE Transactions on Visualization and Computer Graphics. — 2022. — Т. 28, № 1. — С. 1106—1116. — DOI: 10.1109/TVCG.2021.3114845. 26. Gong H., Feng X., Qin B. Quality Control for Distantly-Supervised Data-to-Text Generation via Meta Learning // Applied Sciences (Switzerland). — 2023. — Т. 13, № 9. — DOI: 10.3390/app13095573. 27. Hanafi A., Bouhorma M., Elaachak L. Machine Learning-Based Augmented Reality For Improved Text Generation Through Recurrent Neural Networks // Journal of Theoretical and Applied Information Technology. — 2022. — Т. 100, № 2. — С. 518—530. 28. Hugging Face. Languages. — 06.2024. — URL: https://huggingface.co/languages. 29. Improving news headline text generation quality through frequent POS-Tag patterns analysis / N. Fatima [та ін.] // Engineering Applications of Artificial Intelligence. — 2023. — Т. 125. — DOI: 10.1016/j.engappai.2023.106718. 30. Introducing the next generation of Claude. — 2024. — URL: https://www.anthropic.com/news/claude-3-family. 31. Investigating the Effect of Relative Positional Embeddings on AMR-to-Text Generation with Structural Adapters / S. Montella [та ін.] // EACL 2023 - 17th Conference of the European Chapter of the Association for Computational Linguistics, Proceedings of the Conference. — Association for Computational Linguistics (ACL), 2023. — С. 727—736. 32. Koplin J. J. Dual-use implications of AI text generation // Ethics and Information Technology. — 2023. — Т. 25, № 2. — DOI: 10.1007/s10676-023-09703-z. 33. large language models - Google Trends. — 12.2023. — URL: https://trends.google.com/trends/explore?date=2022-01-01%202023-12-21&q=large%20language%20models&hl=en. 34. Mou L. Search and learning for unsupervised text generation // AI Magazine. — 2022. — Т. 43, № 4. — С. 344—352. — DOI: 10.1002/aaai.12068. 35. Neural text generation in regulatory medical writing / C. Meyer [та ін.] // Frontiers in Pharmacology. — 2023. — Т. 14. — DOI: 10.3389/fphar.2023.1086913. 36. NEUROLOGIC AFesque Decoding: Constrained Text Generation with Lookahead Heuristics / X. Lu [та ін.] // NAACL 2022 - 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference. — Association for Computational Linguistics (ACL), 2022. — С. 780—799. 37. Not All Errors Are Equal: Learning Text Generation Metrics using Stratified Error Synthesis / W. Xu [та ін.] // Findings of the Association for Computational Linguistics: EMNLP 2022 / за ред. Y. Goldberg, Z. Kozareva, Y. Zhang. — Association for Computational Linguistics (ACL), 2022. — С. 6588—6603. 38. OpenAI. Introducing ChatGPT. — 11.2022. — URL: https://openai.com/blog/chatgpt. 39. Pautrat-Lertora A., Perez-Lozano R., Ugarte W. EGAN: Generatives Adversarial Networks for Text Generation with Sentiments // International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management, IC3K - Proceedings. Т. 1 / за ред. F. Coenen, A. Fred, J. Filipe. — Science, Technology Publications, Lda, 2022. — С. 249—256. 40. Rao K. Y., Rao K. S., Narayana S. V. S. Conditional-Aware Sequential Text Generation In Knowledge-Enhanced Conversational Recommendati- on System // Journal of Theoretical and Applied Information Technology. — 2023. — Т. 101, № 7. — С. 2820—2836. 41. Seifossadat E., Sameti H. Improving semantic coverage of data-to-text generation model using dynamic memory networks // Natural Language Engineering. — 2023. — DOI: 10.1017/S1351324923000207. 42. Semi-supervised Adversarial Text Generation based on Seq2Seq models / H. Le [та ін.] // EMNLP 2022 - Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing: Industry Track. — Association for Computational Linguistics (ACL), 2022. — С. 264—272. 43. Shahriar S. GAN computers generate arts? A survey on visual arts, music, and literary text generation using generative adversarial network // Displays. — 2022. — Т. 73. — DOI: 10.1016/j.displa.2022.102237. 44. Synthetic Text Generation with Differential Privacy: A Simple and Practical Recipe / X. Yue [та ін.] // Proceedings of the Annual Meeting of the Association for Computational Linguistics. Т. 1. — Association for Computational Linguistics (ACL), 2023. — С. 1321—1342. 45. Text Generation with Diffusion Language Models: A Pre-training Approach with Continuous Paragraph Denoise / Z. Lin [та ін.] // Proceedings of Machine Learning Research. Т. 202 / за ред. A. Krause [та ін.]. — ML Research Press, 2023. — С. 21051—21064. 46. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews / M. J. Page [та ін.] // BMJ. — 2021. — Т. 372. — n71. — DOI: 10.1136/bmj.n71. 47. Towards Table-to-Text Generation with Pretrained Language Model: A Table Structure Understanding and Text Deliberating Approach / M. Chen [та ін.] // Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing, EMNLP 2022 / за ред. Y. Goldberg, Z. Kozareva, Y. Zhang. — Association for Computational Linguistics (ACL), 2022. — С. 8199—8210. 48. TrICy: Trigger-Guided Data-to-Text Generation With Intent Aware Attention-Copy / V. Agarwal [та ін.] // IEEE/ACM Transactions on Audio, Speech, and Language Processing. — 2024. — Т. 32. — С. 1173—1184. — DOI: 10.1109/TASLP.2024.3353574. 49. Two-in-One: A Model Hijacking Attack Against Text Generation Models / W. M. Si [та ін.] // 32nd USENIX Security Symposium, USENIX Security 2023. Т. 3. — USENIX Association, 2023. — С. 2223—2240. 50. XWikiGen: Cross-lingual Summarization for Encyclopedic Text Generation in Low Resource Languages / D. Taunk [та ін.] // ACM Web Conference 2023 - Proceedings of the World Wide Web Conference, WWW 2023. — Association for Computing Machinery, Inc, 2023. — С. 1703—1713. — DOI: 10.1145/3543507.3583405. 51. Yin X., Wan X. How Do Seq2Seq Models Perform on End-to-End Data-to-Text Generation? // Proceedings of the Annual Meeting of the Association for Computational Linguistics. Т. 1 / за ред. S. Muresan, P. Nakov, A. Villavicencio. — Association for Computational Linguistics (ACL), 2022. — С. 7701—7710. 52. Слободянюк А. В. Огляд статей. — 05.2024. — URL: https://docs.google.com/spreadsheets/d/e/2PACX-1vR6ZUaeeBjVgVl-do6QXm-Pua-HdztOxjC4DUqunrSDZ_-YSRz-Ng9xktYH9b0LDT502SiVy3YePx9F/pubhtml.

Show full item record