AMD MI300X 1枚でDeepSeek V4 Flashを量子化なし動作｜vLLM構成と168 tok/sの実測
AMD MI300X 1枚でDeepSeek V4 Flash（284〜304Bパラメータ）を量子化なし・168 tok/sで本番稼働させた実装を解説。192GB VRAMの優位性、ROCm向け2つの核心パッチ、vLLM構成とH100との性能比較を詳述。
タグ: スペキュレーティブデコード
AMD MI300X 1枚でDeepSeek V4 Flash（284〜304Bパラメータ）を量子化なし・168 tok/sで本番稼働させた実装を解説。192GB VRAMの優位性、ROCm向け2つの核心パッチ、vLLM構成とH100との性能比較を詳述。