NVIDIA, 생성형 AI 맞춤화 및 배포 가속화 기술 NIM 공개

NVIDIA, 마이크로서비스 아키텍처 기반 NIM 통해 생성형 AI 접근성 향상

(출처: Tony Kim, 2024년 7월 11일, Blockchain News)

NVIDIA는 최근 NIM (NVIDIA Inference Microservices)를 공개하며, RTX 워크스테이션 및 GeForce RTX 시스템에서 생성형 AI 모델 배포를 간소화하는 데 기여하고 있습니다.

마이크로서비스 아키텍처

마이크로서비스 아키텍처는 소프트웨어 개발 및 배포 방식을 혁신적으로 변화시키고 있습니다. 이 아키텍처는 애플리케이션을 독립적으로 배포 가능한 작은 서비스 단위로 분할하여 개발 속도를 높이고 유연성을 확보합니다. 각 서비스는 특정 기능을 담당하며 API를 통해 다른 서비스와 통신합니다.

이러한 모듈식 접근 방식은 개발팀 간 협업을 촉진하고 코드 품질 향상 및 문제 해결 속도를 높이는 데 기여합니다. 또한, 서비스별 확장 및 다양한 기술 적용을 통해 시스템 성능과 자원 활용을 최적화할 수 있습니다.

생성형 AI와 마이크로서비스 아키텍처의 조화

마이크로서비스 아키텍처는 확장성, 모듈성 및 유연성 측면에서 생성형 AI 애플리케이션 개발에 이상적입니다. 대규모 언어 모델과 같은 AI 모델은 막대한 컴퓨팅 자원을 필요로 하는데, 마이크로서비스는 시스템 전체에 영향을 주지 않고 이러한 자원 집약적인 구성 요소를 효율적으로 확장할 수 있게 해줍니다.

또한, 생성형 AI 애플리케이션은 데이터 전처리, 모델 추론 및 후처리 등 여러 단계를 포함하는 경우가 많습니다. 마이크로서비스는 각 단계를 독립적으로 개발, 최적화 및 확장할 수 있도록 지원합니다.

NVIDIA NIM: 생성형 AI 배포 간소화

NVIDIA NIM은 클라우드, 데이터 센터, 워크스테이션, 데스크톱 및 노트북 등 다양한 환경에 배포 가능한 최적화된 컨테이너 형태의 모델을 제공합니다. 각 NIM 컨테이너에는 사전 학습된 AI 모델과 필요한 모든 런타임 구성 요소가 포함되어 있어 AI 기능을 애플리케이션에 쉽게 통합할 수 있습니다.

NIM은 간편한 통합, 즉시 사용 가능한 성능, 유연성을 제공하여 AI 기능을 통합하려는 개발자들에게 혁신적인 접근 방식을 제시합니다. 개발자는 데이터 준비, 모델 학습 또는 사용자 지정의 복잡성에 대한 걱정 없이 애플리케이션 개발에 집중할 수 있습니다.

손끝에서 펼쳐지는 AI: 워크스테이션 및 PC에서 NVIDIA NIM 활용

엔터프라이즈 생성형 AI 애플리케이션 구축에는 많은 어려움이 따릅니다. 클라우드 호스팅 모델 API를 사용하면 개발을 시작하는 데 도움이 될 수 있지만, 데이터 개인 정보 보호, 보안, 모델 응답 지연 시간, 정확도, API 비용 및 확장과 관련된 문제는 종종 프로덕션으로 가는 길을 방해합니다. NIM이 탑재된 워크스테이션은 개발자에게 광범위한 모델 및 성능 최적화 추론 마이크로서비스에 대한 안전한 액세스를 제공합니다.

개발자는 클라우드 호스팅 API와 관련된 지연 시간, 비용 및 규정 준수 문제를 방지하고 모델 배포의 복잡성을 피함으로써 애플리케이션 개발에 집중할 수 있습니다.

NVIDIA NeMo, 기업 맞춤형 대규모 언어 모델 구축 지원

(출처: Rebeca Moen, 2024년 7월 11일)

NVIDIA NeMo는 기업이 특정 애플리케이션에 맞춰 대규모 언어 모델 (LLM)을 맞춤화할 수 있도록 지원하여 배포 효율성과 성능을 향상시킵니다.

NVIDIA NeMo 활용한 맞춤화

NVIDIA NeMo는 맞춤형 생성형 AI 개발을 위한 엔드 투 엔드 플랫폼으로, 교육, 맞춤화, RAG, 가드레일, 툴킷, 데이터 큐레이션 및 모델 사전 학습을 위한 도구를 제공합니다. NeMo를 사용하면 기업은 브랜드 보이스 및 도메인별 지식에 맞춰 모델을 개발하여 고객 서비스 챗봇 또는 IT 지원 봇과 같은 작업을 향상시킬 수 있습니다.

예를 들어, PubMedQA 데이터 세트를 사용하여 생물 의학 분야에 Llama 3 8B NIM을 맞춤화하는 과정은 플랫폼의 기능을 보여줍니다. 이러한 맞춤화를 통해 조직은 방대한 양의 콘텐츠에서 핵심 정보를 효율적으로 추출하고 고객에게 관련 정보를 제공할 수 있습니다.

NVIDIA NIM: 배포 가속화

NVIDIA NIM은 NVIDIA AI Enterprise의 일부로, 성능에 최적화된 생성형 AI 모델의 배포를 가속화하도록 설계된 사용하기 쉬운 추론 마이크로서비스를 제공합니다. 이러한 마이크로서비스는 워크스테이션, 온프레미스 및 클라우드를 포함한 다양한 환경에 배포할 수 있어 기업에게 유연성과 데이터 보안을 보장합니다.

현재 사용자는 Llama 3 8B Instruct 및 Llama 3 70B Instruct와 같은 모델에 대한 NIM 추론 마이크로서비스에 액세스하여 NVIDIA 가속 인프라에 자체 호스팅 배포를 용이하게 할 수 있습니다. 프로토타이핑을 시작하는 사람들에게 NVIDIA API 카탈로그를 통해 사용할 수 있는 Llama 3 API는 귀중한 리소스가 될 수 있습니다.

맞춤화 프로세스

맞춤화 프로세스에는 모델을 .nemo 형식으로 변환하고 NeMo 모델용 LoRA (Low-Rank Adaptation) 어댑터를 만드는 것으로 시작하는 여러 단계가 포함됩니다. 그런 다음 이러한 어댑터는 사용자 지정 모델에 대한 추론을 위해 NIM과 함께 사용됩니다. NIM은 LoRA 어댑터의 동적 로딩을 지원하여 다양한 사용 사례에 대해 여러 LoRA 모델을 교육할 수 있습니다.

시작하려면 기업은 NVIDIA GPU, NVIDIA Container Runtime이 있는 Docker 지원 환경, NGC CLI API 키 및 NVIDIA AI Enterprise 라이선스에 액세스해야 합니다. 이러한 전제 조건이 충족되면 Llama 3 8B Instruct 모델을 NVIDIA NGC 카탈로그에서 다운로드하여 NeMo 프레임워크를 사용하여 추가로 사용자 지정할 수 있습니다.

배포 및 추론

모델을 사용자 지정한 후 NIM을 사용하여 배포됩니다. 배포 프로세스에는 모델 저장소 구성 및 서버 시작을 위한 Docker 명령 사용이 포함됩니다. 그런 다음 기업은 서버에 추론 요청을 보내 특정 요구에 맞게 사용자 지정된 모델을 활용할 수 있습니다.

예를 들어, Python 스크립트를 사용하여 서버의 완료 엔드포인트에 POST 요청을 보내 기업이 사용자 지정된 모델을 기반으로 응답을 생성할 수 있도록 합니다. 이 프로세스를 통해 모델은 도메인별 질문에 정확하고 관련성 있는 답변을 제공합니다.

향후 전망

생성형 AI 사용자 지정을 더욱 단순화하기 위해 NVIDIA는 NeMo Customizer 마이크로서비스에 대한 조기 액세스 프로그램을 발표했습니다. 이 고성능 확장형 서비스는 도메인별 사용 사례에 맞게 LLM의 미세 조정 및 조정을 간소화하여 기업이 솔루션을 더 빨리 출시할 수 있도록 지원합니다.

NVIDIA NeMo 및 NIM을 활용함으로써 기업은 LLM의 효율적이고 효과적인 사용자 지정 및 배포를 달성하여 AI 솔루션이 고유한 요구 사항을 충족하도록 맞춤화할 수 있습니다.

 

NVIDIA NeMo Enhances Customization of Large Language Models for Enterprises