Edge-AI-Hardware
Compute modules for embedded and edge AI deployment.
| Foto | Produkt | Preis | Kapazität |
|---|
Modellkapazität verstehen
Modellkapazität bezieht sich auf die Anzahl der Parameter in einem KI-Modell (z. B. 70B = 70 Milliarden Parameter). Größere Modelle benötigen im Allgemeinen mehr Speicher und Rechenleistung, können aber verbesserte Schlussfolgerungen und Ausgabequalität bieten.
Präzision (FP16 / FP8 / FP4) beeinflusst, wie viel Speicher eine bestimmte Modellkapazität benötigt: niedrigere Präzisionsformate halbieren in etwa den Speicherbedarf pro Schritt (FP16 → FP8 → FP4), auf Kosten der Ausgabepräzision.
| Modellgröße | Typischer Speicher (FP16) | Typischer Speicher (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |