Mistral Large 4 Weights & Hugging-Face-Anleitung

Veröffentlichungsstatus

Die offizielle Oktober-6-Ankündigung plant offene Gewichte für Ende Oktober. Dieser Zeitplan ist kein Beweis dafür, dass Dateien bereits verfügbar sind. Prüfen Sie die offizielle Ankündigung und Mistral AIs Hugging-Face-Organisation für das tatsächliche Modell-Repository.

Das richtige Repository identifizieren

Überprüfen Sie den Herausgeber, die genaue Modellkennung und Revision. Ein Repository-Name allein belegt nicht, dass es offiziell ist. Lesen Sie die Modellkarte, die unterstützte Architektur und die Dateiliste. Fixieren Sie einen Commit oder eine Revision, statt eine bewegliche Branch bereitzustellen.

Vor dem Download

Prüfen Sie die Lizenz im veröffentlichten Repository; gehen Sie nicht von einer Lizenz eines früheren Modells aus. Überprüfen Sie Datei-Prüfsummen und erwartete Größen. Berechnen Sie den Speicherplatz für die Originalgewichte, Konvertierungsartefakte, Cache und Rollback-Kopie. Führen Sie niemals Skripte aus einer nicht verifizierten Spiegelquelle aus.

Speicherschätzung

Ein 1.05T-Parameter-Modell benötigt etwa 2.1 TB bei zwei Bytes pro Parameter, 1.05 TB bei einem Byte oder 525 GB bei einem halben Byte. Dies sind rein arithmetische Schätzungen nur für die Gewichte, keine getesteten GPU-Konfigurationen. Quantisierungsmetadaten, Routing, KV-Cache und Laufzeit-Overhead erhöhen den Gesamtbedarf. Aktive Parameter verringern nicht den Bedarf, die vollständigen Expertengewichte zu speichern.

Framework-Bereitschaft

Stellen Sie sicher, dass Ihre Laufzeit die exakte Architektur und das Quantisierungsformat unterstützt. Testen Sie Tokenizer-Kompatibilität, Expertenplatzierung, Bildverarbeitung und Mehrgeräte-Kommunikation. Verwenden Sie eine kurze Eingabe und ein bekanntes Bild, bevor Sie lange Kontexte versuchen.

Bereitstellungs-Checkliste

Dokumentieren Sie die Repository-Revision und Lizenz.
Verifizieren Sie heruntergeladene Dateien vor der Konvertierung.
Messen Sie Speicher, Latenz und Durchsatz mit realistischen Eingaben.
Legen Sie Anfragelimits und Abbruchverhalten fest.
Bewahren Sie Zugangsdaten außerhalb des öffentlichen Codes auf und protokollieren Sie nur notwendige Diagnosen.

Wenn Gewichte nicht verfügbar sind

Nutzen Sie die offizielle API für Experimente, falls Sie Zugang haben. Dieser Arbeitsbereich verteilt keine Gewichte und hat keine selbst gehostete Large-4-Bereitstellung getestet. Lesen Sie unseren Leitfaden für lokale Bereitstellung, bevor Sie Hardware budgetieren.