BC카드는 국내 금융사 최초로 양자화된 초거대 언어모델(LLM) 18종을 글로벌 AI 플랫폼인 허깅페이스에 공개했다고 9일 밝혔다. 

LLM 18종은 고가의 GPU 장비없이 누구나 초거대 AI를 활용할 수 있도록 동적 양자화 기술이 적용된 것이 핵심이다.

동적 양자화는 AI 모델이 사용하는 수치를 압축·배포한 뒤 실제 활용 시점에 이를 복원, 연산 성능과 효율성을 높이는 기술이다.

기존 양자화 기술은 모델 내부의 수치를 일부만 보존해 정확도 저하 우려가 있었지만 BC카드는 자체 기술을 통해 손실률 0% 양자화를 구현했다.

BC카드는 "GPU 사용량 감소에 따른 처리 속도 향상뿐 아니라 고비용 인프라에 대한 의존도를 낮출 수 있는 전환점이 마련됐다"고 설명했다.

BC카드에 따르면 글로벌 기업의 최신형 GPU에서 BC카드의 양자화 LLM을 실행한 결과, AI 연산 속도는 최대 3.5배 빨라졌다.

또 4000만원 규모의 고가 GPU에서 구동 가능했던 복잡한 모델도 300만원대 GPU에서 원할하게 작동한다는 것을 입증했다.

이에 따라 중소기업·스타트업·소상공인 등도 저렴한 환경에서 초거대 AI 기술을 실질적으로 활용할 수 있게 됐다.

조명식 BC카드 상무는 "누구나 쉽게 활용할 수 있는 AI 기술을 통해 모두가 혜택을 누릴 수 있는 서비스를 지속적으로 선보이겠다"고 말했다.