Локальні великі мовні моделі для обробки конфіденційної інформації

Вадим Слюсар

doi:10.34169/2414-0651.2024.4(44).79-91

Локальні великі мовні моделі для обробки конфіденційної інформації

Автор(и)

Вадим Слюсар Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

DOI:

https://doi.org/10.34169/2414-0651.2024.4(44).79-91

Ключові слова:

локальні великі мовні моделі, обробка конфіденційної інформації, мультиагентні системи, штучний інтелект, квантування, безпека даних

Анотація

У статті розглядаються концептуальні підходи до використання локальних великих мовних моделей (LLM) для обробки конфіденційної інформації. Використання хмарних сервісів для таких завдань може викликати занепокоєння щодо безпеки та збереження приватності даних. Тому зростає інтерес до локальних LLM, які дозволяють зберігати контроль над конфіденційною інформацією, забезпечуючи при цьому високий рівень продуктивності. Описано технічні вимоги та варіанти реалізації локальних LLM, зокрема україномовної моделі Mistral-7B, яка використовується в захищеному середовищі. В статті також розглянуто мультиагентні системи та їх роль у підвищенні гнучкості та ефективності обробки даних. Описані тестування моделей за різних рівнів квантування і наведено технічні вимоги для їхньої реалізації на локальних платформах. Основна увага приділяється забезпеченню безпеки і конфіденційності інформації під час використання локальних LLM та потенційним можливостям мультиагентних систем у майбутньому.

Завантаження

Дані завантаження ще не доступні.

Біографія автора

Вадим Слюсар, Центральний науково-дослідний інститут озброєння та військової техніки Збройних Сил України

доктор технічних наук, професор

Посилання

Marino, R. (2024). Fast Analysis of the OpenAI O1-Preview Model in Solving Random K-SAT Problem: Does the LLM Solve the Problem Itself or Call an External SAT Solver. arXiv preprint arXiv:2409. P. 11232. [Online]. Available at: https://arxiv.org/abs/2409.11232.

Slyusar, V.I., Kondratenko, Y.P., Shevchenko, A.I. & Yeroshenko, T.V. (2024). Some Aspects of Artificial Intelligence Development Strategy for Mobile Technologies. J. of Mobile Multimedia. Vol. 20_3. Pp. 525—554. https://orcid.org/10.13052/jmm1550-4646.2031.

Slyusar Vadym. (2023). Large language models (LLM) in the military area. Artificial Intelligence and Intellegent Systems: XXIII Intern. Scientific and Technical Conf. (AIIS’2023), 10−11 October. https://orcid.org/10.13140/RG.2.2.30196.94086.

Slyusar Vadym. Reducing the Cognitive Burden of a Soldier with the Help of Personal AI and LLM Assistant. The LCGDSS Human System Integration (HSI) symposium, 12 January 2024. https://orcid.org/10.13140/RG.2.2.10264.57605/1.

A. Jiang, A. Sablayrolles, A. Mensch, C. Bamford, D. Singh Chaplot, D. Casas, F. Bressand, G. Lengyel, G. Lample, L. Saulnier, L. Renard Lavaud, M.-A. Lachaux, P. Stock, T. L. Scao, T. Lavril, T. Wang, T. Lacroix, W. E. Sayed. Mistral 7B. 2023. 9 p. Available at: https://arxiv.org/pdf/2310.06825.pdf.

LM Studio. 2024. [Online]. Available: https://lmstudio.ai/.

Vakulenko, M. & Slyusar, V. (2024) Automatic smart subword segmentation for the reverse Ukrainian physical dictionary task. Proc. of the Modern Data Science Technologies Workshop (MoDaST-2024). Lviv. Ukraine. May 31 − June 1. Pp. 59—73.

Erkhov, R. (2024). SherlockAssistant - Mistral-7B-Instruct-Ukrainian-gguf. Hugging Face [Online]. Available at: https://huggingface.co/RichardErkhov/SherlockAssistant_-_Mistral-7B-Instruct-Ukrainian-gguf.

Slyusar, V., Sotnyk, V., & Chepkov, I. (2024). WEAPON SYSTEMS RESEARCH METHODOLOGY: TEORETICAL AND PRACTICAL ASPECTS. Weapons and Military Equipment, 43(3), 3–8.

https://doi.org/10.34169/2414-0651.2024.3(43).3-8

OpenAI. GPT-4 technical report. arXiv, 2024. [Online]. Available at: https://arxiv.org/abs/2303.08774.

P. Lewis, E. Perez, A. Piktus, F. Petroni, V. Karpukhin, N. Goyal, H. Küttler, M. Lewis, W.-t. Yih, T. Rocktäschel, et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems. Vol. 33. Pp. 9459—9474. [Online]. Available at: https://arxiv.org/abs/2005.11401.

Parthasarathy, V.B., Zafar, A., Khan, A. & Shahid, A. (2024). The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities. arXiv preprint arXiv:2408. P. 13296. [Online]. Available at: https://arxiv.org/abs/2408.13296.

S. Fan, M. Pagliardini & M. Jaggi (2023). DoGE: Domain Reweighting with Generalization Estimation. arXiv preprint arXiv:2310.15393, [Online]. Available at: https://arxiv.org/abs/2310.15393.

Ollama. 2024. [Online]. Available at: https://ollama.com/.

Rethink the Computer. 2024. [Online]. Available at: https://jan.ai/.

AnythingLLM. The all-in-one AI application. 2024. [Online]. Available at: https://anythingllm.com/.

Lamafile. 2024. [Online]. Available at: https://github.com/Mozilla-Ocho/llamafile/.

Tomasz Wieroński. (2023). Sztuczna inteligencja w strategicznych grach planszowych: czy algorytm może zastąpić człowieka? Krakow: AGH. 80 str.

TroyDoesAI/Agent-Flow-Phone_Demo_3GB_RAM. 2024. [Online]. Available at: https://huggingface.co/TroyDoesAI/Agent-Flow-Phone_Demo_3GB_RAM.

Zhi-Hua Zhou, (2012). Ensemble Methods: Foundations and Algorithms (Chapman & Hall/CRC Machine Learning & Pattern Recognition), CRC Press, Taylor & Francis Group, Boca Raton, FL, USA.

Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, and Jeff Dean. (2017). Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. arXiv preprint arXiv:1701.06538, [Online]. Available at: https://arxiv.org/pdf/1701.06538.

Mixtral of experts. A high quality Sparse Mixture-of-Experts. https://mistral.ai/news/mixtral-of-experts/.

Zixiang Chen, Yihe Deng, Yue Wu, Quanquan Gu, Yuanzhi Li. Towards Understanding Mixture of Experts in Deep Learning. 04 August 2022. Available at: https://arxiv.org/abs/2208.02813.