Summary

  • 새로운 유형의 보안 공격으로 인한 고도화된 관제센터의 필요성 증가
  • NPU 기반 AI 보안 어시스턴트를 탑재한 AiR 어플라이언스 개발
  • ATOM NPU로 GPU 이상의 성능을 구현하면서 서비스 운영에 필요한 전력을 50% 절감 
  • 하드웨어 도입 비용과 상면, 전력 등 장기적인 운영 비용을 포함한 TCO 절감 효과 확인

Challenge

현대의 보안관제센터(Security Operation Center, SOC)는 세 가지 과제를 동시에 해결해야 하는 트릴레마(Trilemma) 상황에 놓여 있습니다. 새로운 유형의 공격을 이해하기 위한 깊이 있는 위협 인텔리전스(Threat Intelligence)와 생성형 AI를 활용해 이를 참조할 수 있는 도구가 필요하고, 데이터 유출을 막기 위한 보안이 확보되어야 합니다. 그리고 비용 효율적인 방식으로 SOC를 운영해야 합니다.

국내 보안 시장의 선두주자인 이글루코퍼레이션은 고객의 SOC가 처한 상황을 해결하기 위해 생성형 AI 기술을 적용한 보안 어시스턴트인 AiR(AI Road)를 기획했습니다. 솔루션 개발 과정에서 가장 먼저 고려된 사항은 데이터 보안이었습니다. 주요 고객들은 내부 로그 등 민감 데이터의 유출을 우려했습니다. 따라서 데이터가 외부로 오고가는 클라우드 서비스 대신 보안을 유지할 수 있는 온프레미스 환경의 솔루션이 필요했습니다. 동시에 적절한 자원을 통해 해당 환경에서 LLM을 활용한 실시간 추론이 가능해야 했고, GPU의 높은 전력 소모와 비용 또한 해결해야 했습니다. 

Solution 

이글루코퍼레이션이 개발한 AiR는 AI를 기반으로 공격을 판단해주고 판단 근거를 제시해주며 예측 기반의 분석까지 생성해주는 보안 어시스턴트 서비스입니다. IGLOO AI 분류 모델의 공격 여부 판단은 위협을 보다 정확하고 신속하게 판단하게 해주고, LLM 모델을 통해 나오는 결론에 대한 설명과 이를 분석해주는 답변은 사용자가 보안의 복잡성에서 벗어나 최선의 판단을 할 수 있도록 도와줍니다. 이들은 AiR의 배포에 있어 보안이 보장된 온프레미스 환경, LLM 개발 환경, 전성비를 모두 고려하고자 했습니다. 리벨리온의 NPU와 SDK는 이러한 상황에서 AiR 어플라이언스 개발과 운영을 위한 최적의 조합이었습니다.

이글루코퍼레이션은 리벨리온의 NPU 환경에서 IGLOO AI를 어플라이언스 형태로 구축하며 보안에 대한 기준을 충족시켰고, 다양한 AI 분류 모델과 LLM 모델을 지원하는 리벨리온 SDK를 통해 IGLOO AI에서 필요로 하는 분류형 AI, 설명형 AI, 생성형 AI 모두 기존 GPU 환경으로부터 NPU 온프레미스 환경으로 손쉽게 이식할 수 있었습니다. 또한, GPU대비 낮은 전력 소모로도 높은 처리 능력을 발휘할 수 있었습니다. 

Result

리벨리온의 NPU는 이글루코퍼레이션에게 기대 이상의 성과를 가져다주었습니다. AiR 어플라이언스 프로토타입 테스트 결과 리벨리온의 NPU는 기존 GPGPU 대비 높은 초당 토큰 처리량(TPS)을 기록하며 빠른 추론 속도를 보였고, 에너지 효율성 측면에서도 더 유리하다는 사실을 입증했습니다.

이글루코퍼레이션은 성공적인 생성형 AI 기반 보안 어플라이언스 개발에 성공하여 고객에게 새로운 가치를 제공할 수 있게 되었습니다. 특히 NPU 서버와의 결합으로 생성형 AI 기술의 정확성을 높이고 보안 환경의 안정성을 강화하는 동시에 TCO를 크게 낮출 수 있었습니다. 이에 더해 대형 서버나 보안 장비 없이 어플라이언스로 간단히 추가할 수 있어 AI 기반 SOC 운영의 진입 장벽을 크게 낮추었습니다.

“리벨리온의 NPU를 활용하여 고효율, 고성능을 모두 갖춘 AI 보안 어플라이언스 개발에 속도를 낼 수 있었습니다. 리벨리온과의 협업을 통해 더 많은 보안 조직이 사이버 위협을 탐지하고 대응할 수 있는 역량을 강화할 수 있도록 지원하겠습니다.” – 이글루코퍼레이션 AI 연구실장

Appendix: NPU 활용 가이드

지금 바로 시작하기: 사전 훈련된 모델 준비 → RBLN 컴파일러를 이용한 모델 컴파일 → 컴파일된 모델 로드 및 추론