Performance Explorer

各レポートの結果表を、測定条件(モデル / GPU / 枚数 / split mode)とあわせて並べています。 条件が違う測定を 1 列に並べた順位付けは、誤解を招くので行いません。比較する場合は条件が一致していることを確認してください。

Tesla T4 4 枚で Ternary Bonsai 2 27B(三値 2bit)を 256k コンテキストまで計測

2026-10-21 ・ MG8853 ・ Tesla T4 × 4 ・ 不明 ・ HPE ProLiant DL380 Gen10

depth prefilldecode
0 303.7510.66
32k 312.749.95
64k 233.29.16
128k 1577.97
196k 114.97.02
258k 90.96.33

Tesla T4 4 枚で Tess-4.5-27B Q8_0 を MTP 付きで 256k まで計測

2026-10-20 ・ MG8853 ・ Tesla T4 × 4 ・ Tess-4.5-27B-Q8_0.gguf(28,595,763,424 バイト、arch qwen35、64 ブロック、262,144 ctx、Gated DeltaNet ・ HPE ProLiant DL380 Gen10

depth prefilldecodeMTP 採択率
0 622.8246.110.969
32k 598.9442.130.997
64k 475.7838.710.996
128k 358.5432.391
196k 265.0227.280.996
258k 209.3123.660.991

Tesla T4 4 枚で Qwen3.8 27B Uncensored の 256k/512k と 1M の可否を検証

2026-10-18 ・ MG8853 ・ Tesla T4 × 4 ・ Qwen3.8-27B-Uncensored-Q5_K_M.gguf ・ HPE ProLiant DL380 Gen10

depth prefilldecodeMTP 採択率
0 611.846.80.832
32k 596.343.70.97
265k 276.225.20.985
510k 137.316.70.97

Tesla T4 4 枚で Ornith 1.5 35B A3B の MTP ヘッド交換と 512k/1M コンテキストを検証

2026-10-18 ・ MG8853 ・ Tesla T4 × 4 ・ ornith-ai/Ornith-1.5-35B-A3B-GGUF の Ornith-1.5-35B-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10

depth prefilldecode採択率
514k 296.224.50.797

Tesla T4 4 枚で Qwen3.8-Flash-Next の AD-3.84bpw-IQ4_XS-M64 を 32k コンテキストで計測

2026-10-17 ・ MG8853 ・ Tesla T4 × 4 ・ AtomicChat/Qwen3.8-Flash-Next-GGUF の AD-3.84bpw-IQ4_XS-M64 。177B、qwen4exp、48 ブロック、エキスパート 512 / 使用 10、GGUF 上のコンテキスト長 262,144。モデルカードによると 51B パラメータ分は n-gram ルックアップテーブル ・ HPE ProLiant DL380 Gen10

depth prefilldecode
0 182.513.44
16k 169.411.42
32k 150.710.03

Tesla T4 4 枚で Nemotron 3.5 Super VL 120B-A12B の UD-IQ2_XXS と UD-IQ2_M を 64k コンテキストまで計測

2026-10-17 ・ MG8853 ・ Tesla T4 × 4 ・ unsloth/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-GGUF の UD-IQ2_XXS と UD-IQ2_M 。総 120B / アクティブ 12B の MoE ・ HPE ProLiant DL380 Gen10

depth IQ2_XXS prefillIQ2_XXS decodeIQ2_M prefillIQ2_M decode
0 274.412.05238.412.28
16k 416.211.35280.111.53
32k 43110.57282.410.73
64k 4409.33279.59.46

Apple M1 Max 64GB で Qwen3.8 27B UD-Q4_K_M の MTP 投機的デコードを 64k まで比較

2026-10-11 ・ Kenya Nara (@penta2himajin) ・ Apple M1 Max × 1 ・ Qwen3.8-27B-UD-Q4_K_M.gguf ・ Apple MacBook Pro 18,4(型番 MacBookPro18,4、2021 年モデル)

depth 実際の深さprefill(MTP なし)decode(MTP なし)prefill(MTP)decode(MTP)decode 実運用推定MTP 採択率
0 1194.367.4585.757.995.070.965
16000 -83.496.5386.157.494.750.997
32000 -74.02574.86.484.110.997
48000 -61.824.2364.985.843.70.997
64000 -58.553.5656.214.843.070.997

Tesla V100-PCIE-32GB 1 枚で Qwen3.8 27B UD-Q4_K_M を 262k コンテキストまで計測

2026-10-08 ・ sh1ma ・ Tesla V100-PCIE-32GB × 1 ・ Qwen3.8-27B-UD-Q4_K_M.gguf ・ Supermicro SYS-1019GP-TT(マザーボード X11SPG-TF)

depth 実際の深さprefilldecodedecode 実運用推定MTP 採択率
0 11720.2657.2552.990.781
32000 -612.4652.9348.990.997
64000 -410.8743.5740.320.997
128000 -275.4332.1329.741
196000 -189.6824.7822.930.994
258000 -144.6620.4918.970.998

V100 2枚で Qwen3.8 27B の Layer・Tensor分割と MTP・DFlash2 を比較

2026-10-07 ・ pakutoma ・ Tesla V100-SXM2-16GB × 2 ・ unsloth Qwen3.8-27B UD-Q4_K_M ・ ASRock B550M Pro RS

depth prefill L MTP n=2prefill T MTP n=2prefill L DFlash2 n=3prefill T DFlash2 n=3decode L MTP n=2decode T MTP n=2decode L DFlash2 n=3decode T DFlash2 n=3
0 771.8965.2736.4894.663.387.862.380.5
32k 659.2849.6633.6801.258.28568.693.2
64k 561.2729.5545.1692.147.772.858.282.9
128k 430.2565.8424.1542.434.85744.967.8
196k 343.8455.4343.6440.626.642.43657.1
258k 289.2384.6291.2372.82238.530.549.4

TB250-BTC PRO で新旧混成 GPU の分割ベンチ (Vulkan + Kepler 復活 CUDA)

2026-10-04 ・ eightman999 ・ R × 6400 ・ Qwen3-1.7B Q4_K_M ・ BIOSTAR TB250-BTC PRO(マイニングボード)

depth pp rx6400pp wx2100pp layerpp tensorpp cpudec rx6400dec wx2100dec layerdec tensordec cpu
~0 1098.2162.8514.5140.24.578.425.630.712.63.77
1978 1091.2163.8509.3140.54.472.322.127.812.62.71
4155 781.6116.4369.3123.82.865.619.225.112.12
7912 56886.7288.81031.958.715.721.911.51.39

Tesla V100-PCIE-32GB と PG500-216 で Qwen3.8 Flash Next を 192k / 256k で計測

2026-10-03 ・ warabii ・ Tesla V100-PCIE-32GB + Tesla PG500-216 ・ Qwen3.8 Flash Next IQ3E-Q8D-MTP ・ MSI MPG X570 GAMING EDGE WIFI

depth 192k prefill192k decode256k prefill256k decode
0 921.5120.4924.5120.7
32k 1148.5120.91151.4114.9
64k 1109.7122.51109.6121.8
128k 1111.5120.21111120.6
190k 1069.9118.71069.9117.8
250k --1039.7116.7

Tesla T4 4 枚で Nemotron 3 Nano Omni 33B を 128k コンテキストまで計測

2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ NVIDIA-Nemotron-3-Nano-Omni-30B-A3B-Reasoning-UD-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10

depth prefilldecode
0 1302.640.01
32k 2432.230.74
64k 203723.87
128k 1538.816.51

Tesla T4 4 枚で Nemotron 3.5 Lightning 30B A3B を 262k コンテキストまで計測

2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ NVIDIA-Nemotron-3.5-Lightning-30B-A3B-UD-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10

depth prefilldecode
0 781.155.78
32k 723.561.38
64k 63656.9
128k 486.249.16
196k 33542.67
258k 249.538.54

Tesla T4 4 枚で Ornith 1.5 35B A3B の split-mode を比較

2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ Ornith-1.5-35B-A3B-Q4_K_M.gguf ・ HPE ProLiant DL380 Gen10

depth prefill layerprefill tensordecode layerdecode tensor
0 1039.21171.436.3377.34
32k 11751092.234.7967.15
64k 920.1820.829.4657.26
128k 687.4586.322.6844.83
196k 506.1409.418.6237.08
258k 386.6314.116.232.24

Tesla T4 4 枚で Gemma 4 26B A4B QAT の split-mode を比較

2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ gemma-4-26B-A4B-it-qat-UD-Q4_K_XL.gguf 25 層、エキスパート 128) ・ HPE ProLiant DL380 Gen10

depth prefill layerprefill tensordecode layerdecode tensor
0 1304.71378.552.31103.76
32k 1532.11411.337.9183.5
64k 1055.6960.727.0469.65
128k 720.3649.717.3853.18
196k 486.3450.912.5242.62
258k 372.4345.69.9635.55

Tesla T4 4 枚で Gemma 4 31B QAT の split-mode を比較

2026-09-30 ・ MG8853 ・ Tesla T4 × 4 ・ gemma-4-31B-it-qat-UD-Q4_K_XL.gguf ・ HPE ProLiant DL380 Gen10

depth prefill layerprefill tensordecode layerdecode tensor
0 338.3526.912.0852.9
32k 366.7550.911.4241.81
64k 271.4405.59.136.77
128k 194.4294.96.3429.35
196k 140.6213.44.8923.9
258k 109.6167.74.0320.41

RTX 5090 1 枚で Qwen3.8-Flash-Next NVFP4 を FreeToken で約 260k 入力まで計測

2026-09-28 ・ centra ・ NVIDIA GeForce RTX 5090 × 1 ・ Qwen3.8-Flash-Next-Uncensored-NVFP4 ・ ASRock Z890 Pro RS WiFi

depth prefill (t/s)decode (t/s)
0 1548.9113.8
32k 3109.353.3
64k 3133.950.2
128k 3073.650.8
196k 3026.252.7
258k 3066.650.5

Radeon AI PRO R9700でQwen3.8 27BのIQ4_XSとMXFP4を比較

2026-09-28 ・ jyohukuchan ・ Radeon AI PRO R9700 × 1 ・ Qwen3.8 27B UD-IQ4_XS / Quark AWQ MXFP4 ・ ASRock WRX80 Creator

depth prefill llama.cppprefill GGZ14decode llama.cppdecode GGZ14
0 972.093121.0955.8847.82
7887 963.493362.7456.3216.72
16050 762.843167.6553.81213.81
32460 573.962894.8947.89192.48

RTX 3090 4 枚で Qwen3.8 27B の split-mode を比較(Windows・コア1395 MHz固定設定)

2026-09-27 ・ 錦幸佳 ・ NVIDIA GeForce RT × 3090 ・ Qwen3.8-27B UD-Q4_K_XL ・ ASUS ROG CROSSHAIR VIII DARK HERO

depth prefill layerprefill tensordecode layerdecode tensor
0(実測 11) 1012.95228.651.3429.52
32,000(実測 32,093) 1000.17231.4144.1629.23
64,000(実測 64,806) 733.35219.4639.6228.35
128,000(実測 128,788) 525.44204.9728.7626.6
196,000(実測 196,429) 377.99186.9124.9525.7
258,000(実測 259,601) 294.97172.0421.4723.97

GTX 1660 SUPER 6GBで Qwen2.5-Coder 7B のGPU/CPUオフロードを計測

2026-09-27 ・ antarashi ・ NVIDIA GeForce GT × 1660 ・ Qwen2.5-Coder-7B-Instruct、7.62B、GGUF v3、Q4_K_M、4,683,074,048 bytes ・ ASRock B450 Pro4(Windows CIMで再取得)

depth prefill profiledecode profile
0 105.1916.82
2,000 99.5315.03
4,000 88.7213.98
6,000 82.8813.41

RTX 5090 1 枚で Qwen3.8 27B UD-Q5_K_XL を 262k コンテキストまで計測

2026-09-27 ・ unco3 ・ NVIDIA GeForce RT × 5090 ・ Qwen3.8-27B-UD-Q5_K_XL.gguf ・ ASRock Z790 Steel Legend WiFi(自作 PC)

depth prefill (t/s)decode (t/s)
0 3269.669.7
32k 3014.861.8
64k 2135.957.1
128k 1402.446.6
196k 472.540.7
258k 745.134.7

EPYC 7452 × 2 と RTX 5070 Ti × 2 で Qwen3.8-Flash-Next Uncensored(自前 NVFP4)を sglang+KTransformers で動かす

2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ orcarouter/Qwen3.8-Flash-Next-Uncensored を元に、ルーティングされるエキスパートだけ ModelOpt で NVFP4 に量子化 。エキスパートは NVFP4 、それ以外は BF16。174 GB 。48 層(線形アテンション 36 ・ HUANANZHI H12D-16D(デュアル SP3)

depth prefill (t/s)decode (t/s)
0 -45.8
32k -45.9
64k -46.1
128k -45.6

EVO-X2 128GBでQwen3.8-Flash-NextをHalogenで実行

2026-09-26 ・ A-Uta ・ AMD Radeon 8060S Graphics × 1 ・ Qwen3.8-Flash-Next W4B HGN ・ GMKtec NucBox EVO-X2

depth prefilldecode(合成テキスト実測)decode(実運用推定)
0 852.773.642.1
32k -7442.3
64k -75.743.3
128k -74.742.7
196k -73.842.2
258k -72.341.4

RTX 5070 12GB 1枚で Qwen3.8 27B GSQ IQ2_S を計測(8K短縮プロファイル)

2026-09-26 ・ fumimatsu ・ NVIDIA GeForce RT × 5070 ・ Qwen3.8-27B-GSQ-RCO-IQ2_S ・ GIGABYTE X870M AORUS ELITE WIFI7 ICE

depth prefill profiledecode profile
0 845.3839.43
4000 858.6138.42

EPYC 7452 × 2 と RTX 5070 Ti × 2 で Qwen3.5-35B-A3B を BF16 のまま CPU/GPU 分担で動かす

2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ Qwen/Qwen3.5-35B-A3B 。BF16。67 GB。40 層、ルーティングされるエキスパート 256 個中 8 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)

depth prefill (t/s)decode (t/s)
0 -55.9
32k -58.5
64k -59.7
128k -57.2

EPYC 7452 × 2 と RTX 5070 Ti × 2 で GLM-5.3-Flash Uncensored を動かし、GPU での prefill と GPU 常駐エキスパートを比較

2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ GLM-5.3-Flash の Uncensored 版。本体は orcarouter/GLM-5.3-Flash-Uncensored-FP8、CPU 側のエキスパートは orcarouter/GLM-5.3-Flash-Uncensored-NVFP4。本体 FP8 で 306 GB 。CPU 側のエキスパートは NVFP4 版 から読み込み。45 層、ルーティングされるエキスパート 288 個中 8 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)

depth prefill (t/s)decode (t/s)
0 16717.3
30k 16417
64k 16117
121k 15517

EPYC 7452 × 2 と RTX 5070 Ti × 2 で DeepSeek V4.1-Flash(476 GB)をコンテキスト長 1M で動かす

2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ deepseek-ai/DeepSeek-V4.1-Flash 。本体は FP8 、エキスパートは FP4。engram テーブル込みで 476 GB。40 層、ルーティングされるエキスパート 384 個中 6 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)

depth prefill (t/s)decode (t/s)
0 24223.5
29k 24923.2
64k 18523.3
128k 21122.9

EPYC 7452 × 2 と RTX 5070 Ti × 2 で DeepSeek V4-Flash-Vision-Exp(abliterated、MXFP4)を sglang+KTransformers で動かす

2026-09-26 ・ amane.yukishima ・ GeForce RT × 5070 ・ DeepSeek V4-Flash-Vision-Exp の abliterated 版。huihui-ai/Huihui-DeepSeek-V4-Flash-Vision-Exp-abliterated-GGUF を sglang で読める形式に自前で変換。エキスパートは GGUF の MXFP4 をそのまま使用、エキスパート以外の重みは FP8。147 GB。43 層、ルーティングされるエキスパート 256 個中 6 個がアクティブ ・ HUANANZHI H12D-16D(デュアル SP3)

depth prefill (t/s)decode (t/s)
0 57532.8
29k 56132.4
64k 56931.8
128k 56031.6

Tesla T4 4 枚で Qwen3.8 27B の split-mode と量子化を比較

2026-09-26 ・ MG8853 ・ Tesla T4 × 4 ・ Qwen3.8-27B の UD-Q4_K_XL / UD-Q6_K / Q8_0 ・ HPE ProLiant DL380 Gen10

depth prefill layerprefill tensordecode layerdecode tensor
0 354601.814.5452.2
32k 394.1566.113.1446.71
64k 307444.711.7842.6
128k 230.4337.110.0836.04
196k 172.4250.18.7730.49
258k 135.7198.18.3226.44

Tesla P40 4 枚で Qwen3.8 27B の split-mode を比較(単一 GPU ベースライン付き)

2026-09-25 ・ 0kqnet ・ Tesla P40 × 4 ・ Qwen3.8-27B-UD-Q4_K_XL ・ Supermicro X10DRG-Q

depth prefill layerprefill tensordecode layerdecode tensor
0 286.8295.926.444.5
32k 296.3277.118.541
64k 199.5218.614.435
128k 134.3166.410.327.6
196k 93.5125.27.822.3
258k 71.3100.66.3519

NVIDIA GB10(統合メモリ SoC)単体で Qwen3.8 Flash Next(MoE)を 262k コンテキストまで計測

2026-09-25 ・ 0rangaxx ・ NVIDIA GB10 。nvidia-smi の VRAM は [N/A] で、システム RAM と同一プールを共有する。離散 VRAM ではない ・ Qwen3.8-Flash-Next-IQ3E-Q8D-MTP.gguf ・ Lenovo Thinkstation PGX(型番 30KLS01900)— NVIDIA GB10 (Grace Blackwell) SoC 搭載。/sys/class/dmi/id/product_name = 30KLS01900、board_name は INVALID

depth prefill (t/s)decode (t/s)MTP 受理率
0 66254.7-
32k 551.356.8-
64k 556.756.9-
128k 529.656.4-
196k 492.855.5-
258k 460.954.8-

Tesla V100-SXM2-32GB 2 枚で Qwen3.8 Flash Next(MoE)の layer 分割と単一 GPU を比較

2026-09-24 ・ pentacoxian ・ Tesla V100-SXM2-32GB × 2 ・ Qwen3.8-Flash-Next-IQ3E-Q8D-MTP.gguf ・ Inspur NF5468M5(マザーボード YZMB-01130-107)

depth prefill layerprefill singledecode layerdecode single
0 730.994.564.514.5
32k 710.388.2101.715.7
64k 701.287.2102.97.7
128k 678.386.4101.515.6
196k 644.485.39815.6
258k 615.484.697.815.6

Tesla V100 2 枚で Qwen3.8 27B の split-mode を比較

2026-09-23 ・ miminashi ・ Tesla V100-SXM2-16GB × 2 ・ Huihui-Qwen3.8-27B-abliterated-UD-Q4_K_XL ・ ASRock X99 Taichi

depth prefill layerprefill tensordecode layerdecode tensor
0 934.8595.234.4144.84
32k 1006.9599.228.7936.38
64k 697.5493.624.1330.35
128k 477.1384.116.6622
196k 333.629412.0615.79
258k 257.12389.3512.83

Tesla V100 2枚で Qwen3.8 27B の split-mode を比較(単一GPU ベースライン付き)

2026-09-22 ・ kuraneko1 ・ Tesla V100-PCIE-32GB + Tesla PG500-216 。VRAM 32 GB × 2 ・ Qwen3.8-27B UD-Q4_K_M ・ ASUS Z170-A

depth prefill layerprefill tensorprefill 単一V100decode layerdecode tensordecode 単一V100
32k 939.3817.370750.972.351.7
64k 628.2615.4468.342.462.743.1
128k 422.7445.2309.932.150.232.5
196k 289.3321.8212.125.340.825.6
260k 221.1253161.621.23521.3

RTX 3060 + Tesla V100 で Qwen3.8 27B の tensor split を NCCL あり/なしで比較

2026-09-21 ・ eightman999 ・ NVIDIA GeForce RT × 3060 ・ Qwen3.8-27B Q4_K_M ・ Thirdwave XA7C-R47T / ASRock B760 TW/D4

depth prefill layerprefill tensorprefill single_v100decode layerdecode tensordecode single_v100
0 790.3670.4746.126.929.332.4
32k 830630.4636.422.325.126.8
64k 573.1492430.918.621.622.3
128k 394.4371290.813.716.916.3

RTX 3060 + Tesla V100 で Qwen3.8 27B の split-mode を比較

2026-09-21 ・ eightman999 ・ NVIDIA GeForce RT × 3060 ・ Qwen3.8-27B Q4_K_M ・ Thirdwave XA7C-R47T / ASRock B760 TW/D4

depth prefill layerprefill tensorprefill single_v100decode layerdecode tensordecode single_v100
0 790.2615.1745.626.832.232.4
32k 830.1582.5636.222.227.326.8
64k 573.5452.9430.618.623.222.4
128k 394.6340.4290.713.717.816.3

Tesla P100 7 枚で Qwen3.8 27B の split-mode を比較

2026-09-20 ・ miminashi ・ Tesla P100-PCIE-16GB × 7 ・ Qwen3.8-27B-UD-Q4_K_XL ・ Supermicro SYS-4028GR-TRT2(M/B X10DRG-OT+-CPU)

depth prefill layerprefill tensordecode layerdecode tensor
0 216.883.719.727.8
32k 235.786.217.930.4
64k 189.981.116.228.8
128k 144.374.312.829.3
196k 109.266.610.727.2
258k 87.559.39.124.6

Tesla P100 4 枚で Qwen3.8 27B の split-mode を比較

2026-09-20 ・ miminashi ・ Tesla P100-PCIE-16GB × 4 ・ Qwen3.8-27B-UD-Q4_K_XL ・ NEC Express5800/T120h

depth prefill layerprefill tensordecode layerdecode tensor
0 195.5356.92048.5
32k 201.9366.717.842
64k 162.2254.615.839.3
128k 122.4198.51333.5
196k 89.8145.51126.4
258k 71.8112.19.723.9