Практичні аспекти розгортання великих мовних моделей в локальних мережах
- Автор(и)
-
-
- Ключові слова:
- Array, Array, Array, Array, Array, Array, Array, Array
- Анотація
-
У статті розглядаються практичні аспекти розгортання великих мовних моделей (LLM) у локальних мережах для обробки конфіденційної інформації. Автори аналізують можливості фреймворків, таких як LM Studio, Ollama, Anything LLM та Koboldcpp, у різних сценаріях архітектури клієнт-сервер. Особливу увагу приділено функціональним обмеженням, технічним нюансам налаштування, а також ефективності й безпеці використання систем для вирішення завдань у військовій та науковій сферах. Зокрема, описано комбінацію фреймворків Anything LLM та Ollama, яка забезпечує інтеграцію з базами знань через механізм Retrieval-Augmented Generation (RAG), дозволяючи організувати захищену обробку даних у локальному середовищі.
Викладено переваги архітектури на базі фреймворку Koboldcpp, що підтримує кастомізацію моделей та інтеграцію з GPU для прискорення обчислень. Розглянуто проблеми, які виникають при використанні LM Studio для створення серверної інфраструктури через обмежену функціональність API та складнощі з налаштуванням доступу. Наголошується, що оптимальним вибором для локального розгортання LLM у клієнт-серверній архітектурі є поєднання Anything LLM як інтерфейсу користувача та Koboldcpp як серверної платформи. Така система забезпечує гнучкість, економію ресурсів і високу захищеність даних, що особливо важливо для застосувань у сфері національної безпеки.
- Біографія автора
- Посилання
-
Slyusar , V. (2024). Local large language models for confidential information processing. Weapons and Military Equipment, 44(4), 79–91.
https://doi.org/10.34169/2414-0651.2024.4(44).79-91
OpenAI. GPT-4 technical report. arXiv, 2024. [Online]. Available: https://arxiv.org/abs/2303.08774.
R. Marino. Fast Analysis of the OpenAI O1-Preview Model in Solving Random K-SAT Problem: Does the LLM Solve the Problem Itself or Call an External SAT Solver. arXiv preprint arXiv:2409.11232, 2024. [Online]. Available: https://arxiv.org/abs/2409.11232.
LM Studio. 2024. [Online]. Available: https://lmstudio.ai/.
Ollama. 2024. [Online]. Available: https://ollama.com/.
AnythingLLM. The all-in-one AI application, 2024. [Online]. Available: https://anythingllm.com/.
P. Lewis, E. Perez, A. Piktus, F. Petroni, V. Karpukhin, N. Goyal, H. Küttler, M. Lewis, W.-t. Yih, T. Rocktäschel, et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems. Vol. 33. Pp. 9459—9474. [Online]. Available: https://arxiv.org/abs/2005.11401.
A. Jiang, A. Sablayrolles, A. Mensch, C. Bamford, D. Singh Chaplot, D. Casas, F. Bressand, G. Lengyel, G. Lample, L. Saulnier, L. Renard Lavaud, M.-A. Lachaux, P. Stock, T. L. Scao, T. Lavril, T. Wang, T. Lacroix, W. E. Sayed. Mistral 7B. 2023. 9 p. https://arxiv.org/pdf/2310.06825.pdf.
Parthasarathy, V.B., Zafar, A., Khan, A. & Shahid, A. (2024). The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities. arXiv preprint arXiv:2408.13296. [Online]. Available: https://arxiv.org/abs/2408.13296.
Slyusar Vadym. Large language models (LLM) in the military area. XXIII Intern. Scientific and Technical Conf. «Artificial Intelligence and Intellegent Systems» (AIIS’2023). 10 − 11 October, 2023. https://doi.org/10.13140/RG.2.2.30196.94086.
Slyusar Vadym. Reducing the Cognitive Burden of a Soldier with the Help of Personal AI and LLM Assistant. The LCGDSS Human System Integration (HSI) symposium, 12 January 2024. https://doi.org/10.13140/RG.2.2.10264.57605/1.
Slyusar, V.I., Kondratenko, Y.P., Shevchenko, A.I. & Yeroshenko, T.V. (2024). Some Aspects of Artificial Intelligence Development Strategy for Mobile Technologies. J. of Mobile Multimedia. Vol. 20_3. Pp. 525—554.
https://doi.org/10.13052/jmm1550-4646.2031.
Vakulenko, M. & Slyusar, V. (2024) Automatic Smart Subword Segmentation for the Reverse Ukrainian Physical Dictionary Task. Proc. of the Modern Data Science Technologies Workshop (MoDaST-2024). Lviv. Ukraine. May 31 – June 1. Pp. 59—73.
Slyusar, V., Sotnyk, V., & Chepkov, I. (2024). WEAPON SYSTEMS RESEARCH METHODOLOGY: TEORETICAL AND PRACTICAL ASPECTS. Weapons and Military Equipment, 43(3), 3–8.
https://doi.org/10.34169/2414-0651.2024.3(43).3-8
Koboldcpp. 2024. [Online]. Available at: https://github.com/LostRuins/koboldcpp.
TroyDoesAI/Agent-Flow-Phone_Demo_3GB_RAM. 2024. [Online]. Available at: https://huggingface.co/TroyDoesAI/Agent-Flow-Phone_Demo_3GB_RAM.
YorkieDev. LM Studio Server Examples. GitHub. Jun. 2024. [Online]. Available at: https://github.com/YorkieDev/lmstudioservercodeexamples. [Accessed: Sep. 28, 2024].
Issa2k23. LMStudio integration. GitHub. Jun. 18. 2024. [Online]. Available at: https://github.com/open-webui/open-webui/discussions/3280. [Accessed: Sep. 28, 2024].
- Cover Image
-
- Завантаження
- Опубліковано
- 31.03.2025
- Розділ
- ІНФОРМАЦІЙНІ СИСТЕМИ
- Ліцензія
-
Авторське право (c) 2025 Вадим Слюсар,Іван Гусаковський
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Як цитувати
Статті цього автора (цих авторів), які найбільше читають
- Захар Шелемін, Вадим Слюсар, Святослав Сащук, Тетяна Голенковська, Конструктивні та функціональні особливості малогабаритної антенної решітки «Комета-М» , Озброєння та військова техніка: Том 45 № 1 (2025): Озброєння та військова техніка
- Вадим Слюсар, Мультиагентна система підтримки випробувань озброєння та військової техніки , Озброєння та військова техніка: Том 49 № 1 (2026): Озброєння та військова техніка
- Вадим Слюсар, Захар Шелемін, Методи виміру амплітудно-частотних характеристик активних антен , Озброєння та військова техніка: Том 47 № 3 (2025): Озброєння та військова техніка
- Вадим Слюсар, Владислав Сотник, Ігор Чепков, МЕТОДОЛОГІЯ ДОСЛІДЖЕНЬ СИСТЕМ ОЗБРОЄННЯ: ТЕОРЕТИЧНІ ТА ПРАКТИЧНІ АСПЕКТИ , Озброєння та військова техніка: Том 43 № 3 (2024): Озброєння та військова техніка
- Михайло Васьківський, Вадим Слюсар, Руслан Животовський , Олег Шинкарук, Михайло Проценко, Максим Яковлев , Ігор Слюсар , Методика ідентифікації засобів ураження на прикладі безпілотних літальних апаратів типу «Shahed-136» , Озброєння та військова техніка: Том 37 № 1 (2023): Озброєння та військова техніка
- Вадим Козлов, Вадим Слюсар, КОНЦЕПЦІЯ ТЕХНОЛОГІЙ ШТУЧНОГО ІНТЕЛЕКТУ ЯК ОСНОВНОЇ СКЛАДОВОЇ РАДІОЕЛЕКТРОННОЇ БОРОТЬБИ , Озброєння та військова техніка: Том 42 № 2 (2024): Озброєння та військова техніка
- Вадим Слюсар, Вадим Козлов, Денис Козлов, Аналіз архітектур Dense Neurla Network для класифікації сигналів на основі комплексних вибірок , Озброєння та військова техніка: Том 47 № 3 (2025): Озброєння та військова техніка
- Вадим Слюсар, Вадим Козлов, Денис Козлов, НЕЙРОМЕРЕЖЕВИЙ МЕТОД ДОСЛІДЖЕННЯ СПЕКТРАЛЬНИХ ХАРАКТЕРИСТИК , Озброєння та військова техніка: Том 46 № 2 (2025): Озброєння та військова техніка
- Вадим Слюсар, Локальні великі мовні моделі для обробки конфіденційної інформації , Озброєння та військова техніка: Том 44 № 4 (2024): Озброєння та військова техніка
- Ігор Чепков, Вадим Слюсар, Андрій Кучинський, Методика побудови штучних нейронних мереж для ідентифікації конструкцій спеціального призначення за класифікацією та країною походження на підставі електронно-мікроскопічного аналізу їх фрагментів , Озброєння та військова техніка: Том 41 № 1 (2024): Озброєння та військова техніка