LLM-Tokenisierung bestimmt Kontextfenster, API-Kosten und Modellqualität. Wie BPE, Vokabulargröße und Spezial-Tokens wirken – mit Checkliste für Teams.
Tag: LLM-Inferenz
3 Beiträge mit dem Tag „LLM-Inferenz“
Llama.cpp vs. vLLM im Vergleich: Wann Consumer-Hardware reicht und wann ein GPU-Server nötig ist — Quantisierung, GGUF, Continuous Batching, KV-Cache.
dSparK von DeepSeek beschleunigt die LLM-Ausgabe um 60–85 %: Speculative Decoding, Markov-Head und Confidence-Steuerung praxisnah erklärt.