2025년 초, 국산 AI 대형 모델 DeepSeek가 놀라운 속도로 과학 기술 업계를 휩쓸었고 사용자 규모가 억 단위를 돌파했습니다. Transformer 아키텍처를 기반으로 한 첨단 추론 모델로서 DeepSeek는 방대한 매개변수 규모를 자랑하며, 매운 높은 하드웨어 컴퓨팅 성능, 메모리 용량 및 대역폭을 요하고 있습니다.

ESWIN Computing은 자체 개발한 RISC-V AI SoC EIC77 시리즈 칩인 EIC7700X 및 EIC7702X를 탑재한 EVB 개발 보드에 성공적으로 DeepSeek 모델을 적용했습니다.

EIC7700X/7702X는 NPU, GPU, DSP 등 하드웨어 가속 모듈을 내장하고 있으며, 대용량, 고대역폭 LPDDR5 메모리를 탑재하여 DeepSeek 대규모 모델을 처리할 때 하드웨어 리소스를 최대한 활용하고 대형 모델 매개변수를 신속하게 전송하여 추론 효율성을 크게 향상시킬 수 있습니다. 테스트 결과에 따르면 매개변수 규모가 7b인 DeepSeek-distill-qwen 모델을 실행할 때 ESWIN Computing의 EIC7700X 칩을 탑재한 EVB 개발 보드는 7tokens/s의 추론 속도에 달할 수 있고, ESWIN Computing의 EIC7702X 칩을 탑재한 EVB 개발 보드는 14tokens/s의 추론 속도에 달할 수 있어 동일 유형 아키텍처 대비 월등히 높은 에너지 효율성을 보여주었습니다.

ESWIN Computing RISC-V AI SoC 칩의 DeepSeek 모델 적용 테스트 결과

EIC77 시리즈 칩은 ESWIN Computing이 자체 개발한 12nm RISC-V AI SoC로,  4코어 64비트 비순차 실행 RISC-V P550 CPU와 자체 개발한 고성능 NPU 및 DSP, GPU, H.264/H.265 코덱이 내장되어 있습니다. 해당 칩의 AI 처리 성능은 20 TOPS INT8에 도달할 수 있으며, 32GB 저장 용량의 LPDDR5@6400을 지원하며 풀스택 부동 소수점 컴퓨팅과 대규모 언어 모델을 지원합니다. 이 중 EIC7702X 듀얼 Die AI SoC는 8코어 64비트 비순차 실행 RISC-V P550 CPU를 내장하고 있고 40TOPS INT8에 달하는 AI 처리 능력을 갖추고 있으며, 64GB 저장 용량의 LPDDR5@6400을 지원할 수 있습니다.

EIC7700X & EIC7702X

EIC7700X/EIC7702X 칩을 탑재한 EVB 보드는 32/64 GB LPDDR 저장 용량과 4/8채널 Gen3 PCIe 인터페이스를 갖추고 있으며, SATA3, HDMI2.0, 1000M Ethernet, USB3.2, MIPI 등 다양한 인터페이스를 지원합니다. 이로써 머신 비전, 타겟 분류, 타겟 포지셔닝, 이미지 분할, 동작 자세 인식, 자연어 처리 등의 기능을 구현할 수 있으며, 보안 운영, 산업 검사, 스마트 교육, 자율 주행, 로봇, 드론, 스마트 교통 등 다양한 응용처에 널리 사용될 수 있습니다. 개발 보드 외에도, EIC77 시리즈 제품은 AI BOX, AI PC, 서버 가속 카드 등 다양한 제품 형태를 포함하며, 클라우드, 엣지, 엔드 등 다양한 작업 환경에 적용 가능하여 다차원적으로 AI를 통한 처리를 실현합니다.

응용 시나리오가 광범위하다

EIC77 시리즈 칩은 짧은 시간 내에 DeepSeek 대형 모델의 적용 작업을 신속하게 완료하여 ESWIN Computing의 RISC-V AI SoC 칩이 높은 컴퓨팅 파워 활용률을 제공할 수 있음을 충분히 입증하였습니다. 소프트웨어 개발 도구가 범용성과 편의성을 가지고 있으며 다양한 딥러닝 알고리즘 모델에 적응할 수 있고 사용이 용이하며 단시간 내에 적용 가능한데 ESWIN Computing의 칩과 도구 체인이 여러 세대 아키텍처의 이터레이션을 거친 후의 공학적 실용성을 보여줍니다.

AI 기술의 급속한 발전과 함께 ESWIN Computing은 RISC-V+AI 기술 경로를 따라 보다 높은 성능 우위와 에너지 효율성을 갖춘 칩과 솔루션으로 보다 많은 응용처를 지속적으로 확장해 나갈 것이며 다양한 산업을 위한 AI 컴퓨팅 파워 지원을 제공할 것입니다.