DeepSeek의 새로운 챗봇은 인상적인 소개를 자랑합니다. "안녕하세요, 나는 당신이 무엇이든 물어보고 당신을 놀라게 할 수있는 답을 얻을 수 있도록 만들어졌습니다." 중국 스타트 업 Deepseek의 제품인이 AI는 빠르게 주요 시장 플레이어가되어 Nvidia의 주가가 크게 하락하기까지했습니다. 성공은 몇 가지 혁신적인 기술을 통합 한 독특한 건축 및 교육 방법론에서 비롯됩니다.
MTP (Multi-Token Prediction) : 전통적인 단어 별 예측과 달리 MTP는 여러 단어를 동시에 예측하여 정확도와 효율성을 높이기 위해 문장 세그먼트를 분석합니다.
전문가 (MOE)의 혼합 : 이 아키텍처는 여러 신경망을 활용하여 입력 데이터를 처리하고 AI 교육을 가속화하고 성능을 향상시킵니다. DeepSeek V3는 256 개의 네트워크를 사용하여 각 토큰 당 8 개를 활성화합니다.
다중 헤드 잠재주의 (MLA) : 이 메커니즘은 중요한 문장 요소에 중점을 둡니다. MLA는 중요한 정보를 간과 할 위험을 최소화하고 미묘한 이해를 향상시키는 주요 세부 사항을 반복적으로 추출합니다.
DeepSeek은 처음에는 강력한 Deepseek V3 모델에 대해 2048 GPU를 사용하여 6 백만 달러의 매우 낮은 교육 비용을 주장했습니다. 그러나 Semianalysis는 훨씬 더 큰 인프라를 나타 냈습니다. 약 50,000 개의 NVIDIA HOPPER GPU (10,000 H800, 10,000 H100 및 추가 H20)가 여러 데이터 센터에 퍼졌습니다. 이는 약 16 억 달러의 총 서버 투자를 나타내며 운영 비용은 9 억 9,400 만 달러로 추정됩니다.
High-Flyer Hedge Fund의 자회사 인 DeepSeek는 데이터 센터를 소유하여 최적화와 더 빠른 혁신 구현을 완전히 제어 할 수 있습니다. 이 자체 지원 접근 방식은 유연성과 의사 결정 속도를 향상시킵니다. 또한이 회사는 최고의 인재를 유치하며 일부 연구자들은 주로 중국 대학에서 매년 130 만 달러 이상을 벌고 있습니다.
따라서 6 백만 달러는 미리 훈련 GPU 비용만을 나타내는 상당한 과소 평가로 보입니다. AI 개발에 대한 실제 투자는 5 억 달러를 초과합니다. 그럼에도 불구하고 DeepSeek의 간소화 된 구조는 더 큰 관료적 회사에 비해 효율적인 혁신 구현을 가능하게합니다.
DeepSeek의 성공은 산업 거대 기업과 경쟁 할 수있는 잘 자금을 지원하는 독립 AI 회사의 잠재력을 보여줍니다. "혁신적인 예산"주장은 틀림없이 과장되지만, 회사의 성공은 상당한 투자, 기술 혁신 및 고도로 숙련 된 팀으로 인해 부인할 수없는 일입니다. 경쟁 업체 비용을 고려할 때 대비가 눈에 띄고 있습니다. DeepSeek의 R1 모델은 5 백만 달러, ChatGpt4는 1 억 달러입니다. 명확한 비용으로도 DeepSeek은 경쟁 업체보다 훨씬 저렴합니다.
