LLM 서빙 프레임워크로 프라이빗 AI구축하기 feat. Ollama, vLLM, SGLang [세미남589@토크아이티, 윤성열 대표 / 드림플로우] – YouTube

이 영상은 토크아이티에서 진행된 세미나의 일부를 재구성한 것으로, 일반 기업에서 프라이빗 AI를 구축하고 LLM (Large Language Model)을 서빙하는 방법에 대해 설명합니다.

디플로의 윤성일 대표가 LLM 서빙을 도와주는 오픈소스 프레임워크 (Ollama, vLLM, SGLang 등)와 양자화 기법 (GGF, AWQ)을 소개하고, 프라이빗 LLM 서버 구축 방법 (온프레미스, 클라우드 임대)을 제시합니다. 핵심은 기업이 현실적인 예산 범위 내에서 프라이빗 AI를 운영할 수 있도록 지원하는 것입니다.

LLM 서빙 프레임워크 역할 및 종류

LLM (Large Language Model) 서빙 프레임워크는 거대 언어 모델을 실제 서비스 환경에서 효율적으로 제공하고 관리할 수 있도록 돕는 소프트웨어 도구입니다. 복잡한 LLM 배포 과정을 단순화하고, 리소스 활용을 최적화하며, 다양한 사용자 요청을 안정적으로 처리하는 데 핵심적인 역할을 합니다.

1. LLM 서빙 프레임워크의 주요 역할:

• 모델 로딩 및 관리: LLM을 메모리에 로드하고, 모델의 버전 관리, A/B 테스트 등을 지원합니다.
• API 제공: 사용자가 LLM에 접근하고 사용할 수 있도록 표준화된 API (Application Programming Interface)를 제공합니다.
• 요청 처리 및 스케일링: 들어오는 사용자 요청을 효율적으로 처리하고, 트래픽 증가에 따라 자동으로 스케일링하여 안정적인 서비스를 유지합니다.
• 리소스 관리: GPU, CPU, 메모리 등 시스템 자원을 효율적으로 관리하고, 모델 추론 속도를 최적화합니다.
• 모니터링 및 로깅: 모델의 성능, 사용량, 에러 등을 모니터링하고 로깅하여 문제 해결 및 개선에 활용합니다.
• 보안: 사용자 인증, 데이터 암호화 등 보안 기능을 제공하여 안전한 LLM 사용 환경을 구축합니다.
• 양자화 및 최적화: 모델의 크기를 줄이고 추론 속도를 높이기 위해 양자화, 가지치기 (Pruning) 등 다양한 최적화 기술을 지원합니다.
• 다양한 모델 포맷 지원: Hugging Face Transformers, TensorFlow, PyTorch 등 다양한 모델 포맷을 지원하여 사용자가 원하는 모델을 쉽게 사용할 수 있도록 합니다.

2. 주요 LLM 서빙 프레임워크 종류:

영상에서 언급된 Ollama, vLLM, SGLang 외에도 다양한 LLM 서빙 프레임워크가 존재합니다. 각각의 프레임워크는 특징과 장단점을 가지고 있으며, 사용 목적과 환경에 따라 적합한 프레임워크를 선택해야 합니다.

• Ollama:
  • 특징: CPU 및 Apple Silicon에서 LLM을 쉽게 실행할 수 있도록 설계된 프레임워크입니다. 개인 사용자 또는 소규모 환경에 적합합니다.
  • 장점: 설치 및 사용이 간편하고, 다양한 LLM을 지원합니다.
  • 단점: 대규모 트래픽 처리에는 적합하지 않을 수 있습니다.
• vLLM:
  • 특징: GPU를 활용하여 높은 처리량과 낮은 지연 시간을 제공하는 서빙 프레임워크입니다. 배치 처리 및 페이지 처리에 최적화되어 있습니다.
  • 장점: 고성능, 효율적인 메모리 관리, 다양한 모델 지원
  • 단점: Ollama보다 복잡한 설정 필요, GPU 의존적
• SGLang:
  • 특징: 프로그래밍 가능한 추론을 위한 프레임워크로, LLM을 기반으로 복잡한 워크플로우를 구축할 수 있도록 지원합니다.
  • 장점: 유연성, 사용자 정의 가능, 복잡한 작업 흐름 구축에 용이
  • 단점: 다른 프레임워크보다 학습 곡선이 높을 수 있습니다.
• TensorFlow Serving:
  • 특징: Google에서 개발한 오픈소스 머신러닝 모델 서빙 시스템입니다. TensorFlow 모델에 최적화되어 있으며, 대규모 서비스에 적합합니다.
  • 장점: 확장성, 안정성, TensorFlow 모델과의 호환성
  • 단점: TensorFlow 모델에 특화, 설정 복잡성
• TorchServe:
  • 특징: PyTorch 모델을 서빙하기 위한 오픈소스 프레임워크입니다. PyTorch 모델과의 통합이 용이하며, 유연한 배포 옵션을 제공합니다.
  • 장점: PyTorch 모델과의 호환성, 유연한 배포 옵션, 쉬운 통합
  • 단점: TensorFlow Serving에 비해 상대적으로 작은 커뮤니티
• Ray Serve:
  • 특징: 분산 컴퓨팅 프레임워크인 Ray를 기반으로 구축된 서빙 프레임워크입니다. 다양한 머신러닝 프레임워크를 지원하며, 복잡한 배포 환경에 적합합니다.
  • 장점: 확장성, 유연성, 다양한 프레임워크 지원
  • 단점: Ray에 대한 이해 필요, 설정 복잡성

3. LLM 서빙 프레임워크 선택 시 고려 사항:

• 모델 유형: 서빙할 모델의 프레임워크 (TensorFlow, PyTorch 등) 및 특성 (크기, 복잡성 등)을 고려합니다.
• 하드웨어 환경: GPU, CPU 등 사용 가능한 하드웨어 자원을 고려합니다.
• 성능 요구 사항: 처리량, 지연 시간 등 서비스의 성능 요구 사항을 고려합니다.
• 배포 환경: 온프레미스, 클라우드 등 배포 환경을 고려합니다.
• 사용 편의성: 프레임워크의 설치, 설정, 사용 난이도를 고려합니다.
• 커뮤니티 및 지원: 프레임워크의 커뮤니티 규모 및 기술 지원 여부를 고려합니다.
• 비용: 프레임워크 사용에 따른 비용 (라이선스, 클라우드 비용 등)을 고려합니다.

요약:

LLM 서빙 프레임워크는 LLM을 실제 서비스에 적용하는 데 필수적인 도구입니다. 다양한 프레임워크가 존재하며, 각각의 특징과 장단점을 고려하여 서비스 요구 사항에 맞는 최적의 프레임워크를 선택하는 것이 중요합니다.