編集部の意見startupxo
O: 4대 GPU 이상 서버를 운영하며 딥시크 계열 모델을 자체 배포하려는 인프라 담당자가, 준비된 장비에서 저장소의 오프라인 추론 예제를 한 번 돌려 환경 요구사항과 맞는지 확인해 볼 때 참고할 만합니다.
X: 성능 수치는 저장소를 올린 개발팀이 밝힌 측정 결과이고, 배치 불변 추론과 결정적 샘플링은 엔비디아 환경에서만 쓸 수 있다고 원문에 명시되어 있어 자사 환경에서 직접 재현해야 합니다.
書く言語: 韓国語
딥시크, 대규모 AI 모델 추론 엔진 DeepInfer를 오픈소스로 공개(github.com)
書く言語: 韓国語翻訳を読む
要約 / 元記事を読む ↗
- DeepInfer는 AI 모델이 질문을 받아 답을 만들어내는 실행 과정을 빠르게 처리하는 소프트웨어다. 원문은 딥시크가 자사의 대규모 운영 서비스에 쓰는 엔진이라고 소개한다.
- 이번 공개는 오프라인 추론 중심이다. 원문에 따르면 완전한 서비스에 필요한 KV 캐시 시스템, 프리필과 디코드 분리, 데이터 병렬 복제본 간 부하 분산은 이번 공개에 포함되지 않았다.
- 원문에 적힌 준비 환경은 리눅스, GCC 13 이상, Python 3.12이며, 엔비디아 GPU는 CUDA 13, 화웨이 Ascend NPU는 CANN 9.2가 필요하다. 지원 하드웨어로 엔비디아 SM100 GPU와 Ascend 950 NPU가 명시되어 있다.
- README의 성능 수치는 프리필 SM100 GPU 4개, 디코드 GPU 64개를 같은 고속 연결 묶음 안에서 측정했다는 내용이다. 이는 저장소를 올린 개발팀이 밝힌 측정 결과이며 제3자 검증은 원문에서 확인되지 않는다.
似たような経験はありますか？そのときどうしたか、一言二言で教えてください。製品に詳しくなくても大丈夫です。