Deepseeks neuer Chatbot bietet eine beeindruckende Einführung: "Hallo, ich wurde erstellt, damit Sie alles fragen und eine Antwort erhalten können, die Sie sogar überraschen könnte." Diese KI, ein Produkt des chinesischen Startups Deepseek, ist schnell zu einem wichtigen Marktteilnehmer geworden, der sogar zu einem erheblichen Rückgang des Aktienkurs von NVIDIA beiträgt. Der Erfolg beruht auf einer einzigartigen Architektur- und Trainingsmethodik mit mehreren innovativen Technologien.
Multi-Token-Vorhersage (MTP): Im Gegensatz zur herkömmlichen Wort für Wortvorhersage prognostiziert MTP mehrere Wörter gleichzeitig und analysiert die Satzsegmente auf verbesserte Genauigkeit und Effizienz.
Mischung von Experten (MOE): Diese Architektur nutzt mehrere neuronale Netzwerke, um Eingabedaten zu verarbeiten, das KI -Training zu beschleunigen und die Leistung zu steigern. Deepseek V3 verwendet 256 Netzwerke und aktiviert acht für jedes Token.
Multi-Head Latent Achtung (MLA): Dieser Mechanismus konzentriert sich auf wichtige Satzelemente. MLA extrahiert wiederholt wichtige Details, wobei das Risiko von Übersehen wichtiger Informationen und Verbesserung des nuancierten Verständnisses minimiert wird.
Deepseek behauptete zunächst eine bemerkenswert niedrige Ausbildungskosten von 6 Millionen US -Dollar für sein mächtiges Deepseek V3 -Modell mit nur 2048 GPUs. Die semianalyse ergab jedoch eine weitaus größere Infrastruktur: ungefähr 50.000 NVIDIA Hopper -GPUs (einschließlich 10.000 H800, 10.000 H100 und zusätzliche H20S), die über mehrere Rechenzentren verteilt sind. Dies entspricht einer gesamten Serverinvestition von rund 1,6 Milliarden US -Dollar, wobei die Betriebskosten auf 944 Mio. USD geschätzt werden.
Deepseek, eine Tochtergesellschaft des High-Flyer-Hedgefonds, besitzt seine Rechenzentren und bietet vollständige Kontrolle über Optimierung und schnellere Innovationsimplementierung. Dieser selbstfinanzierte Ansatz verbessert die Flexibilität und Entscheidungsgeschwindigkeit. Darüber hinaus zieht das Unternehmen Top -Talente an, wobei einige Forscher jährlich über 1,3 Millionen US -Dollar verdienen, hauptsächlich von chinesischen Universitäten.
Die 6-Millionen-Dollar-Zahl scheint daher eine signifikante Untertreibung zu sein, die nur die GPU-Kosten vor der Training darstellt. Die tatsächliche Investition in die KI -Entwicklung übersteigt 500 Millionen US -Dollar. Trotzdem ermöglicht die optimierte Struktur von Deepseek im Vergleich zu größeren, bürokratischeren Unternehmen eine effiziente Innovationsimplementierung.
Der Erfolg von Deepseek zeigt das Potenzial eines gut finanzierten unabhängigen KI-Unternehmens, mit Branchenriesen zu konkurrieren. Während die Behauptung des "revolutionären Budgets" wohl übertrieben ist, ist der Erfolg des Unternehmens unbestreitbar und wird durch erhebliche Investitionen, technologische Durchbrüche und ein hochqualifiziertes Team angeheizt. Der Kontrast ist auffällig, wenn die Konkurrenzkosten in Betracht gezogen werden. Das R1 -Modell von Deepseek kostete 5 Millionen US -Dollar, während Chatgpt4 100 Millionen US -Dollar kostete. Trotz der geklärten Kosten bleibt Deepseek deutlich billiger als seine Konkurrenten.
