엣지 AI 시대를 열다! 라마 3.2 출시!

1. 모두를 위한 AI, 라마 3.2 가 온다!

드디어 모두가 기다리던 라마 3.2가 출시되었습니다! 메타에서 야심 차게 공개한 라마 3.2는 엣지 AI 및 비전 분야에 새로운 혁신을 불러올 오픈소스 AI 모델입니다. 이전 버전보다 더욱 강력해진 성능과 다양한 기능으로 무장한 라마 3.2는 개발자는 물론, 일반 사용자에게도 놀라운 경험을 선사할 예정입니다.

‘엣지’는 데이터가 생성되는 장소와 가까운 곳, 즉 기기 자체나 네트워크의 가장자리를 뜻합니다. 엣지 AI는 AI 처리를 에지에서 수행하자는 겁니다.

엣지 AI를 구현하려면 하드웨어, 소프트웨어, 데이터 각 분야가 서로 조화를 이루어야 합니다. 특히 소프트웨어 측면에서는 AI 모델의 경량화가 무엇보다 중요합니다.

AI 모델의 크기를 나타낼 때 흔히 ‘파라미터’라는 단위를 사용합니다. 우리나라 기준으로 10억 개, 30억 개, 이렇게 말하면 메타의 10억 개 모델이 확 와닿지는 않습니다. 그런데 ‘1B’라고 하면 왠지 확 와 닿습니다.

라마 3.2 이전까지는 경량형 모델 하면 3B 정도를 제시했는데, 이제 라마가 새로운 기준을 제시하는 것 같습니다. 바로 1B 모델입니다. 물론 단순히 크기만 작다고 해서 다 좋은 건 아니겠죠? 크기는 작으면서도 기존 모델 못지않은 성능을 발휘해야 하는데, 메타의 발표 내용을 보면 라마 3.2 1B 모델이 그러한 기대를 충족하는 것으로 보입니다.

 

2. 라마 3.2, 무엇이 달라졌을까?

라마 3.2는 이전 버전과 비교하여 다음과 같은 점이 크게 향상되었습니다.

  • 엣지 디바이스에 최적화된 경량 모델: 1B, 3B 크기의 경량 모델은 모바일 기기에서도 빠르고 효율적인 AI 경험을 제공합니다.
  • 놀라운 이미지 이해 능력: 11B, 90B 크기의 비전 모델은 이미지 캡션 생성, 문서 이해, 시각적 추론 등 놀라운 이미지 처리 능력을 보여줍니다.
  • 라마 스택 도입: 단일 노드, 클라우드, 온디바이스 등 다양한 환경에서 라마 모델을 쉽게 활용할 수 있도록 지원하는 라마 스택이 공개되었습니다.
  • 책임감 있는 AI 개발: 라마 가드 업데이트를 통해 안전하고 윤리적인 AI 시스템 구축을 위한 지원을 강화했습니다.

 

3. 엣지 AI 시대의 문을 열다

라마 3.2는 강력한 성능과 개방성을 바탕으로 엣지 AI 시대의 새로운 지평을 열 것입니다. 더 많은 사람들이 AI 기술의 혜택을 누리고 혁신적인 애플리케이션을 개발할 수 있는 기회를 제공할 것입니다.

 

4. 라마 3.2 자세히 알아보기

라마 3.2에 대한 더 자세한 내용이 궁금하신가요? 메타 AI 블로그에서 직접 확인해 보세요!

https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/

인공지능 언어 모델 ‘라마’가 2023년 2월 첫 출시 이후 빠르게 업데이트되고 있죠? 라마 업데이트를 누구보다 빠르게 지원해온 Groq에서 이번에도 라마 3.2 출시 소식을 발 빠르게 전했습니다.

https://groq.com/meta-and-groq-continue-to-build-open-source-developer-ecosystem-as-llama-3-2-launches/

 

그렇다면 AIPilotSmarteasy는 라마 3.2를 어떻게 지원할까요?

AIPilotSmarteasy는 Groq의 API 서비스를 이용하기 때문에, 각 버전은 다음과 같이 지원됩니다.

* **표준:** llama-3.1-70b-versatile
* **경량:** llama-3.2-3b-preview
* **비전 모델:** llama-3.2-90b-text-preview

About the Author
(주)뉴테크프라임 대표 김현남입니다. 저에 대해 좀 더 알기를 원하시는 분은 아래 링크를 참조하세요. http://www.umlcert.com/kimhn/

Leave a Reply

*