딥시크, 대규모 AI 모델 추론 엔진 DeepInfer를 오픈소스로 공개(github.com)

- DeepInfer는 AI 모델이 질문을 받아 답을 만들어내는 실행 과정을 빠르게 처리하는 소프트웨어다. 원문은 딥시크가 자사의 대규모 운영 서비스에 쓰는 엔진이라고 소개한다. - 이번 공개는 오프라인 추론 중심이다. 원문에 따르면 완전한 서비스에 필요한 KV 캐시 시스템, 프리필과 디코드 분리, 데이터 병렬 복제본 간 부하 분산은 이번 공개에 포함되지 않았다. - 원문에 적힌 준비 환경은 리눅스, GCC 13 이상, Python 3.12이며, 엔비디아 GPU는 CUDA 13, 화웨이 Ascend NPU는 CANN 9.2가 필요하다. 지원 하드웨어로 엔비디아 SM100 GPU와 Ascend 950 NPU가 명시되어 있다. - README의 성능 수치는 프리필 SM100 GPU 4개, 디코드 GPU 64개를 같은 고속 연결 묶음 안에서 측정했다는 내용이다. 이는 저장소를 올린 개발팀이 밝힌 측정 결과이며 제3자 검증은 원문에서 확인되지 않는다.