Локальні великі мовні моделі для обробки конфіденційної інформації
- Автор(и)
-
-
- Ключові слова:
- Array, Array, Array, Array, Array, Array
- Анотація
-
У статті розглядаються концептуальні підходи до використання локальних великих мовних моделей (LLM) для обробки конфіденційної інформації. Використання хмарних сервісів для таких завдань може викликати занепокоєння щодо безпеки та збереження приватності даних. Тому зростає інтерес до локальних LLM, які дозволяють зберігати контроль над конфіденційною інформацією, забезпечуючи при цьому високий рівень продуктивності. Описано технічні вимоги та варіанти реалізації локальних LLM, зокрема україномовної моделі Mistral-7B, яка використовується в захищеному середовищі. В статті також розглянуто мультиагентні системи та їх роль у підвищенні гнучкості та ефективності обробки даних. Описані тестування моделей за різних рівнів квантування і наведено технічні вимоги для їхньої реалізації на локальних платформах. Основна увага приділяється забезпеченню безпеки і конфіденційності інформації під час використання локальних LLM та потенційним можливостям мультиагентних систем у майбутньому.
- Біографія автора
- Посилання
-
Marino, R. (2024). Fast Analysis of the OpenAI O1-Preview Model in Solving Random K-SAT Problem: Does the LLM Solve the Problem Itself or Call an External SAT Solver. arXiv preprint arXiv:2409. P. 11232. [Online]. Available at: https://arxiv.org/abs/2409.11232.
Slyusar, V.I., Kondratenko, Y.P., Shevchenko, A.I. & Yeroshenko, T.V. (2024). Some Aspects of Artificial Intelligence Development Strategy for Mobile Technologies. J. of Mobile Multimedia. Vol. 20_3. Pp. 525—554. https://orcid.org/10.13052/jmm1550-4646.2031.
Slyusar Vadym. (2023). Large language models (LLM) in the military area. Artificial Intelligence and Intellegent Systems: XXIII Intern. Scientific and Technical Conf. (AIIS’2023), 10−11 October. https://orcid.org/10.13140/RG.2.2.30196.94086.
Slyusar Vadym. Reducing the Cognitive Burden of a Soldier with the Help of Personal AI and LLM Assistant. The LCGDSS Human System Integration (HSI) symposium, 12 January 2024. https://orcid.org/10.13140/RG.2.2.10264.57605/1.
A. Jiang, A. Sablayrolles, A. Mensch, C. Bamford, D. Singh Chaplot, D. Casas, F. Bressand, G. Lengyel, G. Lample, L. Saulnier, L. Renard Lavaud, M.-A. Lachaux, P. Stock, T. L. Scao, T. Lavril, T. Wang, T. Lacroix, W. E. Sayed. Mistral 7B. 2023. 9 p. Available at: https://arxiv.org/pdf/2310.06825.pdf.
LM Studio. 2024. [Online]. Available: https://lmstudio.ai/.
Vakulenko, M. & Slyusar, V. (2024) Automatic smart subword segmentation for the reverse Ukrainian physical dictionary task. Proc. of the Modern Data Science Technologies Workshop (MoDaST-2024). Lviv. Ukraine. May 31 − June 1. Pp. 59—73.
Erkhov, R. (2024). SherlockAssistant - Mistral-7B-Instruct-Ukrainian-gguf. Hugging Face [Online]. Available at: https://huggingface.co/RichardErkhov/SherlockAssistant_-_Mistral-7B-Instruct-Ukrainian-gguf.
Slyusar, V., Sotnyk, V., & Chepkov, I. (2024). WEAPON SYSTEMS RESEARCH METHODOLOGY: TEORETICAL AND PRACTICAL ASPECTS. Weapons and Military Equipment, 43(3), 3–8.
https://doi.org/10.34169/2414-0651.2024.3(43).3-8
OpenAI. GPT-4 technical report. arXiv, 2024. [Online]. Available at: https://arxiv.org/abs/2303.08774.
P. Lewis, E. Perez, A. Piktus, F. Petroni, V. Karpukhin, N. Goyal, H. Küttler, M. Lewis, W.-t. Yih, T. Rocktäschel, et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems. Vol. 33. Pp. 9459—9474. [Online]. Available at: https://arxiv.org/abs/2005.11401.
Parthasarathy, V.B., Zafar, A., Khan, A. & Shahid, A. (2024). The Ultimate Guide to Fine-Tuning LLMs from Basics to Breakthroughs: An Exhaustive Review of Technologies, Research, Best Practices, Applied Research Challenges and Opportunities. arXiv preprint arXiv:2408. P. 13296. [Online]. Available at: https://arxiv.org/abs/2408.13296.
S. Fan, M. Pagliardini & M. Jaggi (2023). DoGE: Domain Reweighting with Generalization Estimation. arXiv preprint arXiv:2310.15393, [Online]. Available at: https://arxiv.org/abs/2310.15393.
Ollama. 2024. [Online]. Available at: https://ollama.com/.
Rethink the Computer. 2024. [Online]. Available at: https://jan.ai/.
AnythingLLM. The all-in-one AI application. 2024. [Online]. Available at: https://anythingllm.com/.
Lamafile. 2024. [Online]. Available at: https://github.com/Mozilla-Ocho/llamafile/.
Tomasz Wieroński. (2023). Sztuczna inteligencja w strategicznych grach planszowych: czy algorytm może zastąpić człowieka? Krakow: AGH. 80 str.
TroyDoesAI/Agent-Flow-Phone_Demo_3GB_RAM. 2024. [Online]. Available at: https://huggingface.co/TroyDoesAI/Agent-Flow-Phone_Demo_3GB_RAM.
Zhi-Hua Zhou, (2012). Ensemble Methods: Foundations and Algorithms (Chapman & Hall/CRC Machine Learning & Pattern Recognition), CRC Press, Taylor & Francis Group, Boca Raton, FL, USA.
Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, and Jeff Dean. (2017). Outrageously large neural networks: The sparsely-gated mixture-of-experts layer. arXiv preprint arXiv:1701.06538, [Online]. Available at: https://arxiv.org/pdf/1701.06538.
Mixtral of experts. A high quality Sparse Mixture-of-Experts. https://mistral.ai/news/mixtral-of-experts/.
Zixiang Chen, Yihe Deng, Yue Wu, Quanquan Gu, Yuanzhi Li. Towards Understanding Mixture of Experts in Deep Learning. 04 August 2022. Available at: https://arxiv.org/abs/2208.02813.
- Cover Image
-
- Завантаження
- Опубліковано
- 31.12.2024
- Розділ
- ІНФОРМАЦІЙНІ СИСТЕМИ
- Ліцензія
-
Авторське право (c) 2024 Вадим Слюсар
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
Як цитувати
Статті цього автора (цих авторів), які найбільше читають
- Захар Шелемін, Вадим Слюсар, Святослав Сащук, Тетяна Голенковська, Конструктивні та функціональні особливості малогабаритної антенної решітки «Комета-М» , Озброєння та військова техніка: Том 45 № 1 (2025): Озброєння та військова техніка
- Вадим Слюсар, Мультиагентна система підтримки випробувань озброєння та військової техніки , Озброєння та військова техніка: Том 49 № 1 (2026): Озброєння та військова техніка
- Вадим Слюсар, Захар Шелемін, Методи виміру амплітудно-частотних характеристик активних антен , Озброєння та військова техніка: Том 47 № 3 (2025): Озброєння та військова техніка
- Вадим Слюсар, Владислав Сотник, Ігор Чепков, МЕТОДОЛОГІЯ ДОСЛІДЖЕНЬ СИСТЕМ ОЗБРОЄННЯ: ТЕОРЕТИЧНІ ТА ПРАКТИЧНІ АСПЕКТИ , Озброєння та військова техніка: Том 43 № 3 (2024): Озброєння та військова техніка
- Вадим Слюсар, Іван Гусаковський, Практичні аспекти розгортання великих мовних моделей в локальних мережах , Озброєння та військова техніка: Том 45 № 1 (2025): Озброєння та військова техніка
- Михайло Васьківський, Вадим Слюсар, Руслан Животовський , Олег Шинкарук, Михайло Проценко, Максим Яковлев , Ігор Слюсар , Методика ідентифікації засобів ураження на прикладі безпілотних літальних апаратів типу «Shahed-136» , Озброєння та військова техніка: Том 37 № 1 (2023): Озброєння та військова техніка
- Вадим Козлов, Вадим Слюсар, КОНЦЕПЦІЯ ТЕХНОЛОГІЙ ШТУЧНОГО ІНТЕЛЕКТУ ЯК ОСНОВНОЇ СКЛАДОВОЇ РАДІОЕЛЕКТРОННОЇ БОРОТЬБИ , Озброєння та військова техніка: Том 42 № 2 (2024): Озброєння та військова техніка
- Вадим Слюсар, Вадим Козлов, Денис Козлов, НЕЙРОМЕРЕЖЕВИЙ МЕТОД ДОСЛІДЖЕННЯ СПЕКТРАЛЬНИХ ХАРАКТЕРИСТИК , Озброєння та військова техніка: Том 46 № 2 (2025): Озброєння та військова техніка
- Вадим Слюсар, Вадим Козлов, Денис Козлов, Аналіз архітектур Dense Neurla Network для класифікації сигналів на основі комплексних вибірок , Озброєння та військова техніка: Том 47 № 3 (2025): Озброєння та військова техніка
- Ігор Чепков, Вадим Слюсар, Андрій Кучинський, Методика побудови штучних нейронних мереж для ідентифікації конструкцій спеціального призначення за класифікацією та країною походження на підставі електронно-мікроскопічного аналізу їх фрагментів , Озброєння та військова техніка: Том 41 № 1 (2024): Озброєння та військова техніка