Performance Explorer
各レポートの結果表を、測定条件(モデル / GPU / 枚数 / split mode)とあわせて並べています。 条件が違う測定を 1 列に並べた順位付けは、誤解を招くので行いません。比較する場合は条件が一致していることを確認してください。
Tesla T4 4 枚で Ternary Bonsai 2 27B(三値 2bit)を 256k コンテキストまで計測
2026-10-21 ・ MG8853 ・ Tesla T4 × 4 ・ 不明 ・ HPE ProLiant DL380 Gen10
| depth | prefill | decode |
|---|---|---|
| 0 | 303.75 | 10.66 |
| 32k | 312.74 | 9.95 |
| 64k | 233.2 | 9.16 |
| 128k | 157 | 7.97 |
| 196k | 114.9 | 7.02 |
| 258k | 90.9 | 6.33 |
Tesla T4 4 枚で Tess-4.5-27B Q8_0 を MTP 付きで 256k まで計測
2026-10-20 ・ MG8853 ・ Tesla T4 × 4 ・ Tess-4.5-27B-Q8_0.gguf(28,595,763,424 バイト、arch qwen35、64 ブロック、262,144 ctx、Gated DeltaNet ・ HPE ProLiant DL380 Gen10
| depth | prefill | decode | MTP 採択率 |
|---|---|---|---|
| 0 | 622.82 | 46.11 | 0.969 |
| 32k | 598.94 | 42.13 | 0.997 |
| 64k | 475.78 | 38.71 | 0.996 |
| 128k | 358.54 | 32.39 | 1 |
| 196k | 265.02 | 27.28 | 0.996 |
| 258k | 209.31 | 23.66 | 0.991 |
Tesla T4 4 枚で Qwen3.8 27B Uncensored の 256k/512k と 1M の可否を検証
2026-10-18 ・ MG8853 ・ Tesla T4 × 4 ・ Qwen3.8-27B-Uncensored-Q5_K_M.gguf ・ HPE ProLiant DL380 Gen10
| depth | prefill | decode | MTP 採択率 |
|---|---|---|---|
| 0 | 611.8 | 46.8 | 0.832 |
| 32k | 596.3 | 43.7 | 0.97 |
| 265k | 276.2 | 25.2 | 0.985 |
| 510k | 137.3 | 16.7 | 0.97 |
Tesla T4 4 枚で Ornith 1.5 35B A3B の MTP ヘッド交換と 512k/1M コンテキストを検証
2026-10-18 ・ MG8853 ・ Tesla T4 × 4 ・ ornith-ai/Ornith-1.5-35B-A3B-GGUF の Ornith-1.5-35B-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10
| depth | prefill | decode | 採択率 |
|---|---|---|---|
| 514k | 296.2 | 24.5 | 0.797 |
Tesla T4 4 枚で Qwen3.8-Flash-Next の AD-3.84bpw-IQ4_XS-M64 を 32k コンテキストで計測
2026-10-17 ・ MG8853 ・ Tesla T4 × 4 ・ AtomicChat/Qwen3.8-Flash-Next-GGUF の AD-3.84bpw-IQ4_XS-M64 。177B、qwen4exp、48 ブロック、エキスパート 512 / 使用 10、GGUF 上のコンテキスト長 262,144。モデルカードによると 51B パラメータ分は n-gram ルックアップテーブル ・ HPE ProLiant DL380 Gen10
| depth | prefill | decode |
|---|---|---|
| 0 | 182.5 | 13.44 |
| 16k | 169.4 | 11.42 |
| 32k | 150.7 | 10.03 |
Tesla T4 4 枚で Nemotron 3.5 Super VL 120B-A12B の UD-IQ2_XXS と UD-IQ2_M を 64k コンテキストまで計測
2026-10-17 ・ MG8853 ・ Tesla T4 × 4 ・ unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF の UD-IQ2_XXS と UD-IQ2_M 。総 120B / アクティブ 12B の MoE ・ HPE ProLiant DL380 Gen10
| depth | IQ2_XXS prefill | IQ2_XXS decode | IQ2_M prefill | IQ2_M decode |
|---|---|---|---|---|
| 0 | 274.4 | 12.05 | 238.4 | 12.28 |
| 16k | 416.2 | 11.35 | 280.1 | 11.53 |
| 32k | 431 | 10.57 | 282.4 | 10.73 |
| 64k | 440 | 9.33 | 279.5 | 9.46 |
Apple M1 Max 64GB で Qwen3.8 27B UD-Q4_K_M の MTP 投機的デコードを 64k まで比較
2026-10-11 ・ Kenya Nara (@penta2himajin) ・ Apple M1 Max × 1 ・ Qwen3.8-27B-UD-Q4_K_M.gguf ・ Apple MacBook Pro 18,4(型番 MacBookPro18,4、2021 年モデル)
| depth | 実際の深さ | prefill(MTP なし) | decode(MTP なし) | prefill(MTP) | decode(MTP) | decode 実運用推定 | MTP 採択率 |
|---|---|---|---|---|---|---|---|
| 0 | 11 | 94.36 | 7.45 | 85.75 | 7.99 | 5.07 | 0.965 |
| 16000 | - | 83.49 | 6.53 | 86.15 | 7.49 | 4.75 | 0.997 |
| 32000 | - | 74.02 | 5 | 74.8 | 6.48 | 4.11 | 0.997 |
| 48000 | - | 61.82 | 4.23 | 64.98 | 5.84 | 3.7 | 0.997 |
| 64000 | - | 58.55 | 3.56 | 56.21 | 4.84 | 3.07 | 0.997 |
Tesla V100-PCIE-32GB 1 枚で Qwen3.8 27B UD-Q4_K_M を 262k コンテキストまで計測
2026-10-08 ・ sh1ma ・ Tesla V100-PCIE-32GB × 1 ・ Qwen3.8-27B-UD-Q4_K_M.gguf ・ Supermicro SYS-1019GP-TT(マザーボード X11SPG-TF)
| depth | 実際の深さ | prefill | decode | decode 実運用推定 | MTP 採択率 |
|---|---|---|---|---|---|
| 0 | 11 | 720.26 | 57.25 | 52.99 | 0.781 |
| 32000 | - | 612.46 | 52.93 | 48.99 | 0.997 |
| 64000 | - | 410.87 | 43.57 | 40.32 | 0.997 |
| 128000 | - | 275.43 | 32.13 | 29.74 | 1 |
| 196000 | - | 189.68 | 24.78 | 22.93 | 0.994 |
| 258000 | - | 144.66 | 20.49 | 18.97 | 0.998 |
V100 2枚で Qwen3.8 27B の Layer・Tensor分割と MTP・DFlash2 を比較
2026-10-07 ・ pakutoma ・ Tesla V100-SXM2-16GB × 2 ・ unsloth Qwen3.8-27B UD-Q4_K_M ・ ASRock B550M Pro RS
| depth | prefill L MTP n=2 | prefill T MTP n=2 | prefill L DFlash2 n=3 | prefill T DFlash2 n=3 | decode L MTP n=2 | decode T MTP n=2 | decode L DFlash2 n=3 | decode T DFlash2 n=3 |
|---|---|---|---|---|---|---|---|---|
| 0 | 771.8 | 965.2 | 736.4 | 894.6 | 63.3 | 87.8 | 62.3 | 80.5 |
| 32k | 659.2 | 849.6 | 633.6 | 801.2 | 58.2 | 85 | 68.6 | 93.2 |
| 64k | 561.2 | 729.5 | 545.1 | 692.1 | 47.7 | 72.8 | 58.2 | 82.9 |
| 128k | 430.2 | 565.8 | 424.1 | 542.4 | 34.8 | 57 | 44.9 | 67.8 |
| 196k | 343.8 | 455.4 | 343.6 | 440.6 | 26.6 | 42.4 | 36 | 57.1 |
| 258k | 289.2 | 384.6 | 291.2 | 372.8 | 22 | 38.5 | 30.5 | 49.4 |
TB250-BTC PRO で新旧混成 GPU の分割ベンチ (Vulkan + Kepler 復活 CUDA)
2026-10-04 ・ eightman999 ・ R × 6400 ・ Qwen3-1.7B Q4_K_M ・ BIOSTAR TB250-BTC PRO(マイニングボード)
| depth | pp rx6400 | pp wx2100 | pp layer | pp tensor | pp cpu | dec rx6400 | dec wx2100 | dec layer | dec tensor | dec cpu |
|---|---|---|---|---|---|---|---|---|---|---|
| ~0 | 1098.2 | 162.8 | 514.5 | 140.2 | 4.5 | 78.4 | 25.6 | 30.7 | 12.6 | 3.77 |
| 1978 | 1091.2 | 163.8 | 509.3 | 140.5 | 4.4 | 72.3 | 22.1 | 27.8 | 12.6 | 2.71 |
| 4155 | 781.6 | 116.4 | 369.3 | 123.8 | 2.8 | 65.6 | 19.2 | 25.1 | 12.1 | 2 |
| 7912 | 568 | 86.7 | 288.8 | 103 | 1.9 | 58.7 | 15.7 | 21.9 | 11.5 | 1.39 |
Tesla V100-PCIE-32GB と PG500-216 で Qwen3.8 Flash Next を 192k / 256k で計測
2026-10-03 ・ warabii ・ Tesla V100-PCIE-32GB + Tesla PG500-216 ・ Qwen3.8 Flash Next IQ3E-Q8D-MTP ・ MSI MPG X570 GAMING EDGE WIFI
| depth | 192k prefill | 192k decode | 256k prefill | 256k decode |
|---|---|---|---|---|
| 0 | 921.5 | 120.4 | 924.5 | 120.7 |
| 32k | 1148.5 | 120.9 | 1151.4 | 114.9 |
| 64k | 1109.7 | 122.5 | 1109.6 | 121.8 |
| 128k | 1111.5 | 120.2 | 1111 | 120.6 |
| 190k | 1069.9 | 118.7 | 1069.9 | 117.8 |
| 250k | - | - | 1039.7 | 116.7 |
Tesla T4 4 枚で Nemotron 3 Nano Omni 33B を 128k コンテキストまで計測
2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-UD-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10
| depth | prefill | decode |
|---|---|---|
| 0 | 1302.6 | 40.01 |
| 32k | 2432.2 | 30.74 |
| 64k | 2037 | 23.87 |
| 128k | 1538.8 | 16.51 |
Tesla T4 4 枚で Nemotron 3.5 Lightning 30B A3B を 262k コンテキストまで計測
2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ NVIDIA-Nemotron-3.5-Lightning-30B-A3B-UD-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10
| depth | prefill | decode |
|---|---|---|
| 0 | 781.1 | 55.78 |
| 32k | 723.5 | 61.38 |
| 64k | 636 | 56.9 |
| 128k | 486.2 | 49.16 |
| 196k | 335 | 42.67 |
| 258k | 249.5 | 38.54 |
Tesla T4 4 枚で Ornith 1.5 35B A3B の split-mode を比較
2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ Ornith-1.5-35B-A3B-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 1039.2 | 1171.4 | 36.33 | 77.34 |
| 32k | 1175 | 1092.2 | 34.79 | 67.15 |
| 64k | 920.1 | 820.8 | 29.46 | 57.26 |
| 128k | 687.4 | 586.3 | 22.68 | 44.83 |
| 196k | 506.1 | 409.4 | 18.62 | 37.08 |
| 258k | 386.6 | 314.1 | 16.2 | 32.24 |
Tesla T4 4 枚で Gemma 4 26B A4B QAT の split-mode を比較
2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf 25 層、エキスパート 128) ・ HPE ProLiant DL380 Gen10
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 1304.7 | 1378.5 | 52.31 | 103.76 |
| 32k | 1532.1 | 1411.3 | 37.91 | 83.5 |
| 64k | 1055.6 | 960.7 | 27.04 | 69.65 |
| 128k | 720.3 | 649.7 | 17.38 | 53.18 |
| 196k | 486.3 | 450.9 | 12.52 | 42.62 |
| 258k | 372.4 | 345.6 | 9.96 | 35.55 |
Tesla T4 4 枚で Gemma 4 31B QAT の split-mode を比較
2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ gemma-4-31B-it-qat-UD-Q4_K_XL.gguf ・ HPE ProLiant DL380 Gen10
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 338.3 | 526.9 | 12.08 | 52.9 |
| 32k | 366.7 | 550.9 | 11.42 | 41.81 |
| 64k | 271.4 | 405.5 | 9.1 | 36.77 |
| 128k | 194.4 | 294.9 | 6.34 | 29.35 |
| 196k | 140.6 | 213.4 | 4.89 | 23.9 |
| 258k | 109.6 | 167.7 | 4.03 | 20.41 |
RTX 5090 1 枚で Qwen3.8-Flash-Next NVFP4 を FreeToken で約 260k 入力まで計測
2026-09-28 ・ centra ・ NVIDIA GeForce RTX 5090 × 1 ・ Qwen3.8-Flash-Next-Uncensored-NVFP4 ・ ASRock Z890 Pro RS WiFi
| depth | prefill (t/s) | decode (t/s) |
|---|---|---|
| 0 | 1548.9 | 113.8 |
| 32k | 3109.3 | 53.3 |
| 64k | 3133.9 | 50.2 |
| 128k | 3073.6 | 50.8 |
| 196k | 3026.2 | 52.7 |
| 258k | 3066.6 | 50.5 |
Radeon AI PRO R9700でQwen3.8 27BのIQ4_XSとMXFP4を比較
2026-09-28 ・ jyohukuchan ・ Radeon AI PRO R9700 × 1 ・ Qwen3.8 27B UD-IQ4_XS / Quark AWQ MXFP4 ・ ASRock WRX80 Creator
| depth | prefill llama.cpp | prefill GGZ14 | decode llama.cpp | decode GGZ14 |
|---|---|---|---|---|
| 0 | 972.09 | 3121.09 | 55.88 | 47.82 |
| 7887 | 963.49 | 3362.74 | 56.3 | 216.72 |
| 16050 | 762.84 | 3167.65 | 53.81 | 213.81 |
| 32460 | 573.96 | 2894.89 | 47.89 | 192.48 |
RTX 3090 4 枚で Qwen3.8 27B の split-mode を比較(Windows・コア1395 MHz固定設定)
2026-09-27 ・ 錦幸佳 ・ NVIDIA GeForce RT × 3090 ・ Qwen3.8-27B UD-Q4_K_XL ・ ASUS ROG CROSSHAIR VIII DARK HERO
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0(実測 11) | 1012.95 | 228.6 | 51.34 | 29.52 |
| 32,000(実測 32,093) | 1000.17 | 231.41 | 44.16 | 29.23 |
| 64,000(実測 64,806) | 733.35 | 219.46 | 39.62 | 28.35 |
| 128,000(実測 128,788) | 525.44 | 204.97 | 28.76 | 26.6 |
| 196,000(実測 196,429) | 377.99 | 186.91 | 24.95 | 25.7 |
| 258,000(実測 259,601) | 294.97 | 172.04 | 21.47 | 23.97 |
GTX 1660 SUPER 6GBで Qwen2.5-Coder 7B のGPU/CPUオフロードを計測
2026-09-27 ・ antarashi ・ NVIDIA GeForce GT × 1660 ・ Qwen2.5-Coder-7B-Instruct、7.62B、GGUF v3、Q4_K_M、4,683,074,048 bytes ・ ASRock B450 Pro4(Windows CIMで再取得)
| depth | prefill profile | decode profile |
|---|---|---|
| 0 | 105.19 | 16.82 |
| 2,000 | 99.53 | 15.03 |
| 4,000 | 88.72 | 13.98 |
| 6,000 | 82.88 | 13.41 |
RTX 5090 1 枚で Qwen3.8 27B UD-Q5_K_XL を 262k コンテキストまで計測
2026-09-27 ・ unco3 ・ NVIDIA GeForce RT × 5090 ・ Qwen3.8-27B-UD-Q5_K_XL.gguf ・ ASRock Z790 Steel Legend WiFi(自作 PC)
| depth | prefill (t/s) | decode (t/s) |
|---|---|---|
| 0 | 3269.6 | 69.7 |
| 32k | 3014.8 | 61.8 |
| 64k | 2135.9 | 57.1 |
| 128k | 1402.4 | 46.6 |
| 196k | 472.5 | 40.7 |
| 258k | 745.1 | 34.7 |
EPYC 7452 × 2 と RTX 5070 Ti × 2 で Qwen3.8-Flash-Next Uncensored(自前 NVFP4)を sglang+KTransformers で動かす
2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ orcarouter/Qwen3.8-Flash-Next-Uncensored を元に、ルーティングされるエキスパートだけ ModelOpt で NVFP4 に量子化 。エキスパートは NVFP4 、それ以外は BF16。174 GB 。48 層(線形アテンション 36 ・ HUANANZHI H12D-16D(デュアル SP3)
| depth | prefill (t/s) | decode (t/s) |
|---|---|---|
| 0 | - | 45.8 |
| 32k | - | 45.9 |
| 64k | - | 46.1 |
| 128k | - | 45.6 |
EVO-X2 128GBでQwen3.8-Flash-NextをHalogenで実行
2026-09-26 ・ A-Uta ・ AMD Radeon 8060S Graphics × 1 ・ Qwen3.8-Flash-Next W4B HGN ・ GMKtec NucBox EVO-X2
| depth | prefill | decode(合成テキスト実測) | decode(実運用推定) |
|---|---|---|---|
| 0 | 852.7 | 73.6 | 42.1 |
| 32k | - | 74 | 42.3 |
| 64k | - | 75.7 | 43.3 |
| 128k | - | 74.7 | 42.7 |
| 196k | - | 73.8 | 42.2 |
| 258k | - | 72.3 | 41.4 |
RTX 5070 12GB 1枚で Qwen3.8 27B GSQ IQ2_S を計測(8K短縮プロファイル)
2026-09-26 ・ fumimatsu ・ NVIDIA GeForce RT × 5070 ・ Qwen3.8-27B-GSQ-RCO-IQ2_S ・ GIGABYTE X870M AORUS ELITE WIFI7 ICE
| depth | prefill profile | decode profile |
|---|---|---|
| 0 | 845.38 | 39.43 |
| 4000 | 858.61 | 38.42 |
EPYC 7452 × 2 と RTX 5070 Ti × 2 で Qwen3.5-35B-A3B を BF16 のまま CPU/GPU 分担で動かす
2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ Qwen/Qwen3.5-35B-A3B 。BF16。67 GB。40 層、ルーティングされるエキスパート 256 個中 8 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)
| depth | prefill (t/s) | decode (t/s) |
|---|---|---|
| 0 | - | 55.9 |
| 32k | - | 58.5 |
| 64k | - | 59.7 |
| 128k | - | 57.2 |
EPYC 7452 × 2 と RTX 5070 Ti × 2 で GLM-5.3-Flash Uncensored を動かし、GPU での prefill と GPU 常駐エキスパートを比較
2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ GLM-5.3-Flash の Uncensored 版。本体は orcarouter/GLM-5.3-Flash-Uncensored-FP8、CPU 側のエキスパートは orcarouter/GLM-5.3-Flash-Uncensored-NVFP4。本体 FP8 で 306 GB 。CPU 側のエキスパートは NVFP4 版 から読み込み。45 層、ルーティングされるエキスパート 288 個中 8 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)
| depth | prefill (t/s) | decode (t/s) |
|---|---|---|
| 0 | 167 | 17.3 |
| 30k | 164 | 17 |
| 64k | 161 | 17 |
| 121k | 155 | 17 |
EPYC 7452 × 2 と RTX 5070 Ti × 2 で DeepSeek V4.1-Flash(476 GB)をコンテキスト長 1M で動かす
2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ deepseek-ai/DeepSeek-V4.1-Flash 。本体は FP8 、エキスパートは FP4。engram テーブル込みで 476 GB。40 層、ルーティングされるエキスパート 384 個中 6 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)
| depth | prefill (t/s) | decode (t/s) |
|---|---|---|
| 0 | 242 | 23.5 |
| 29k | 249 | 23.2 |
| 64k | 185 | 23.3 |
| 128k | 211 | 22.9 |
EPYC 7452 × 2 と RTX 5070 Ti × 2 で DeepSeek V4-Flash-Vision-Exp(abliterated、MXFP4)を sglang+KTransformers で動かす
2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ DeepSeek V4-Flash-Vision-Exp の abliterated 版。huihui-ai/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF を sglang で読める形式に自前で変換。エキスパートは GGUF の MXFP4 をそのまま使用、エキスパート以外の重みは FP8。147 GB。43 層、ルーティングされるエキスパート 256 個中 6 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)
| depth | prefill (t/s) | decode (t/s) |
|---|---|---|
| 0 | 575 | 32.8 |
| 29k | 561 | 32.4 |
| 64k | 569 | 31.8 |
| 128k | 560 | 31.6 |
Tesla T4 4 枚で Qwen3.8 27B の split-mode と量子化を比較
2026-09-26 ・ MG8853 ・ Tesla T4 × 4 ・ Qwen3.8-27B の UD-Q4_K_XL / UD-Q6_K / Q8_0 ・ HPE ProLiant DL380 Gen10
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 354 | 601.8 | 14.54 | 52.2 |
| 32k | 394.1 | 566.1 | 13.14 | 46.71 |
| 64k | 307 | 444.7 | 11.78 | 42.6 |
| 128k | 230.4 | 337.1 | 10.08 | 36.04 |
| 196k | 172.4 | 250.1 | 8.77 | 30.49 |
| 258k | 135.7 | 198.1 | 8.32 | 26.44 |
Tesla P40 4 枚で Qwen3.8 27B の split-mode を比較(単一 GPU ベースライン付き)
2026-09-25 ・ 0kqnet ・ Tesla P40 × 4 ・ Qwen3.8-27B-UD-Q4_K_XL ・ Supermicro X10DRG-Q
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 286.8 | 295.9 | 26.4 | 44.5 |
| 32k | 296.3 | 277.1 | 18.5 | 41 |
| 64k | 199.5 | 218.6 | 14.4 | 35 |
| 128k | 134.3 | 166.4 | 10.3 | 27.6 |
| 196k | 93.5 | 125.2 | 7.8 | 22.3 |
| 258k | 71.3 | 100.6 | 6.35 | 19 |
NVIDIA GB10(統合メモリ SoC)単体で Qwen3.8 Flash Next(MoE)を 262k コンテキストまで計測
2026-09-25 ・ 0rangaxx ・ NVIDIA GB10 。nvidia-smi の VRAM は [N/A] で、システム RAM と同一プールを共有する。離散 VRAM ではない ・ Qwen3.8-Flash-Next-IQ3E-Q8D-MTP.gguf ・ Lenovo Thinkstation PGX(型番 30KLS01900)— NVIDIA GB10 (Grace Blackwell) SoC 搭載。/sys/class/dmi/id/product_name = 30KLS01900、board_name は INVALID
| depth | prefill (t/s) | decode (t/s) | MTP 受理率 |
|---|---|---|---|
| 0 | 662 | 54.7 | - |
| 32k | 551.3 | 56.8 | - |
| 64k | 556.7 | 56.9 | - |
| 128k | 529.6 | 56.4 | - |
| 196k | 492.8 | 55.5 | - |
| 258k | 460.9 | 54.8 | - |
Tesla V100-SXM2-32GB 2 枚で Qwen3.8 Flash Next(MoE)の layer 分割と単一 GPU を比較
2026-09-24 ・ pentacoxian ・ Tesla V100-SXM2-32GB × 2 ・ Qwen3.8-Flash-Next-IQ3E-Q8D-MTP.gguf ・ Inspur NF5468M5(マザーボード YZMB-01130-107)
| depth | prefill layer | prefill single | decode layer | decode single |
|---|---|---|---|---|
| 0 | 730.9 | 94.5 | 64.5 | 14.5 |
| 32k | 710.3 | 88.2 | 101.7 | 15.7 |
| 64k | 701.2 | 87.2 | 102.9 | 7.7 |
| 128k | 678.3 | 86.4 | 101.5 | 15.6 |
| 196k | 644.4 | 85.3 | 98 | 15.6 |
| 258k | 615.4 | 84.6 | 97.8 | 15.6 |
Tesla V100 2 枚で Qwen3.8 27B の split-mode を比較
2026-09-23 ・ miminashi ・ Tesla V100-SXM2-16GB × 2 ・ Huihui-Qwen3.8-27B-abliterated-UD-Q4_K_XL ・ ASRock X99 Taichi
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 934.8 | 595.2 | 34.41 | 44.84 |
| 32k | 1006.9 | 599.2 | 28.79 | 36.38 |
| 64k | 697.5 | 493.6 | 24.13 | 30.35 |
| 128k | 477.1 | 384.1 | 16.66 | 22 |
| 196k | 333.6 | 294 | 12.06 | 15.79 |
| 258k | 257.1 | 238 | 9.35 | 12.83 |
Tesla V100 2枚で Qwen3.8 27B の split-mode を比較(単一GPU ベースライン付き)
2026-09-22 ・ kuraneko1 ・ Tesla V100-PCIE-32GB + Tesla PG500-216 。VRAM 32 GB × 2 ・ Qwen3.8-27B UD-Q4_K_M ・ ASUS Z170-A
| depth | prefill layer | prefill tensor | prefill 単一V100 | decode layer | decode tensor | decode 単一V100 |
|---|---|---|---|---|---|---|
| 32k | 939.3 | 817.3 | 707 | 50.9 | 72.3 | 51.7 |
| 64k | 628.2 | 615.4 | 468.3 | 42.4 | 62.7 | 43.1 |
| 128k | 422.7 | 445.2 | 309.9 | 32.1 | 50.2 | 32.5 |
| 196k | 289.3 | 321.8 | 212.1 | 25.3 | 40.8 | 25.6 |
| 260k | 221.1 | 253 | 161.6 | 21.2 | 35 | 21.3 |
RTX 3060 + Tesla V100 で Qwen3.8 27B の tensor split を NCCL あり/なしで比較
2026-09-21 ・ eightman999 ・ NVIDIA GeForce RT × 3060 ・ Qwen3.8-27B Q4_K_M ・ Thirdwave XA7C-R47T / ASRock B760 TW/D4
| depth | prefill layer | prefill tensor | prefill single_v100 | decode layer | decode tensor | decode single_v100 |
|---|---|---|---|---|---|---|
| 0 | 790.3 | 670.4 | 746.1 | 26.9 | 29.3 | 32.4 |
| 32k | 830 | 630.4 | 636.4 | 22.3 | 25.1 | 26.8 |
| 64k | 573.1 | 492 | 430.9 | 18.6 | 21.6 | 22.3 |
| 128k | 394.4 | 371 | 290.8 | 13.7 | 16.9 | 16.3 |
RTX 3060 + Tesla V100 で Qwen3.8 27B の split-mode を比較
2026-09-21 ・ eightman999 ・ NVIDIA GeForce RT × 3060 ・ Qwen3.8-27B Q4_K_M ・ Thirdwave XA7C-R47T / ASRock B760 TW/D4
| depth | prefill layer | prefill tensor | prefill single_v100 | decode layer | decode tensor | decode single_v100 |
|---|---|---|---|---|---|---|
| 0 | 790.2 | 615.1 | 745.6 | 26.8 | 32.2 | 32.4 |
| 32k | 830.1 | 582.5 | 636.2 | 22.2 | 27.3 | 26.8 |
| 64k | 573.5 | 452.9 | 430.6 | 18.6 | 23.2 | 22.4 |
| 128k | 394.6 | 340.4 | 290.7 | 13.7 | 17.8 | 16.3 |
Tesla P100 7 枚で Qwen3.8 27B の split-mode を比較
2026-09-20 ・ miminashi ・ Tesla P100-PCIE-16GB × 7 ・ Qwen3.8-27B-UD-Q4_K_XL ・ Supermicro SYS-4028GR-TRT2(M/B X10DRG-OT+-CPU)
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 216.8 | 83.7 | 19.7 | 27.8 |
| 32k | 235.7 | 86.2 | 17.9 | 30.4 |
| 64k | 189.9 | 81.1 | 16.2 | 28.8 |
| 128k | 144.3 | 74.3 | 12.8 | 29.3 |
| 196k | 109.2 | 66.6 | 10.7 | 27.2 |
| 258k | 87.5 | 59.3 | 9.1 | 24.6 |
Tesla P100 4 枚で Qwen3.8 27B の split-mode を比較
2026-09-20 ・ miminashi ・ Tesla P100-PCIE-16GB × 4 ・ Qwen3.8-27B-UD-Q4_K_XL ・ NEC Express5800/T120h
| depth | prefill layer | prefill tensor | decode layer | decode tensor |
|---|---|---|---|---|
| 0 | 195.5 | 356.9 | 20 | 48.5 |
| 32k | 201.9 | 366.7 | 17.8 | 42 |
| 64k | 162.2 | 254.6 | 15.8 | 39.3 |
| 128k | 122.4 | 198.5 | 13 | 33.5 |
| 196k | 89.8 | 145.5 | 11 | 26.4 |
| 258k | 71.8 | 112.1 | 9.7 | 23.9 |