Scrugo

Reviews & comparisons

Hands-on reviews and head-to-head comparisons of consumer hardware.

2 projects found

Filters
Qwen 3.8 27B on 2 RTX 3090s + 128GB of RAM: QEngine, ULTRAMAX, vLLM or llama.cpp?
Done ⚔️ Comparison

Qwen 3.8 27B on 2 RTX 3090s + 128GB of RAM: QEngine, ULTRAMAX, vLLM or llama.cpp?

J'ai comparé 4 moteurs pour Qwen 3.8 27B, la version dense du modèle, sur ma machine : 2 RTX 3090 de 24 Go, 128 Go de RAM et un PCIe 3.0. Tout vient de mon banc, avec les mêmes prompts. Deux réserves, que je rappelle à chaque fois : les chiffres ne viennent pas tous de la même session, et la comparaison n'est pas à quantification égale.

Inférence LLM locale Linux Benchmarking +5
fabz 🧪 🧠 🌱 🏅 32
Qwen 3.8 Flash Next on 2 RTX 3090s + 128 GB of RAM: QEngine, Strata, vLLM or llama.cpp?
Done ⚔️ Comparison

Qwen 3.8 Flash Next on 2 RTX 3090s + 128 GB of RAM: QEngine, Strata, vLLM or llama.cpp?

J'ai hésité entre ces 4 moteurs pour faire tourner Qwen 3.8 Flash Next (QFN) sur ma machine : 2 RTX 3090 de 24 Go, 128 Go de RAM et un PCIe 3.0. J'ai mesuré moi-même QEngine et Strata. Pour vLLM et llama.cpp, je m'appuie sur les chiffres publiés par d'autres sur des rigs 2×3090.

fabz 🧪 🧠 🌱 🏅 51

📬 Get the weekly newsletter

Report this content