【Project Maya】Project Maya v1.1.16でDeepSeek-V4.1-Flash-1017対応
今回の要点
- Project Maya v1.1.16がリリースされ、独自量子化モデル「Maya-S」を含むDeepSeek-V4.1-Flash-1017のサポートが始まった。
- 独自エンジン「maya-ds4」により、3.5bit量子化や4/8GPUでのTP（Tensor Parallelism）が利用可能。
- EXL3量子化モデル使用時、推論が最大トークン数まで停止しないままループする報告と、その回避策が共有された。
- L40S vGPU環境では、Unsloth UD-Q5_K_XLモデル使用時に約21〜25 tok/sの推論速度が実測された。
DeepSeek-V4.1-Flash-1017のサポートと独自量子化
Project Maya v1.1.16では、GLM-5.3-Flashに加え、DeepSeekの748Bパラメータモデル「DeepSeek-V4.1-Flash-1017」がサポートされた。このモデルは、Project Maya独自のエンジン「maya-ds4」上で動作し、スライディングウィンドウや圧縮スパースアテンション、2段階インデクサー、ハイパーコネクション、Engram n-gramテーブル、DSpark drafter、ビジョンタワーなどの機能に対応している。設定は「./maya.sh --setup」または「--model DeepSeek-V4.1-Flash-1017」で行える[1]。
量子化形式としては、デフォルトの独自量子化「Maya-S（--ds4-quant maya-s）」が採用されている。これはルータードエキスパートを2〜3bit、アテンションや共有エキスパート、密な重みを8bitに量子化し、178 GBのメモリで動作する。元のモデルと同じ次のトークンを92.6%の確率で選択できる。また、UnslothのGGUF形式（q8/q4）やLibertAIDAIのEXL3量子化（2.9bit、RTX 30/A100以降対応）も選択可能だ[1]。
利用者の報告
EXL3量子化モデルを使用する環境において、推論が最大トークン数まで停止しないままループする現象が報告されている。eliaskg氏は、Project Maya v1.1.15、GLM-5.3-Flash（turboderp製EXL3 3.05bpw量子化）、コンテキスト262144、温度0の環境で、マルチターンコーディングエージェントセッション実行時にこの事象を確認した。多くのプロンプトで最初のターンが終了せず、約35分間（40 tok/s）推論が続いた後、「finish_reason: length」で終了した[2]。
開発者のmw00氏は、この現象について以下の原因と回避策を提示した。まず、GLMエンジンではrepeat_penaltyやpresence_penalty、frequency_penaltyがドロップされており、効果がないというバグがある。また、温度0でのグリディデコーディングは推論モデルでループを引き起こしやすい。推奨されるサンプリング（ダッシュボードChatのデフォルト）を使用するか、thinking_budget（デフォルト32768）を低く設定（例：16384）することで、ループするターンにかかる時間を制限できる[3]。
L40S vGPU環境での推論速度実測
L40S vGPU（48 GB）とXeon 8580 CPUを搭載する環境において、Unsloth UD-Q5_K_XL（225 GBのエキスパート）モデルを使用した推論速度の実測値が報告された。Project Maya v1.1.15、CUDA 12.9、Ubuntu 22.04.5の環境で、sampledかつthinking有効の実際の使用時（glm stat:）に、デコード速度は安定して20〜25 tok/sであった。当初50+ tok/sを期待していたが、このマシンと量子化では約21 tok/sが上限に近いと推測されている[4]。
出典
SwitchBot公式ページ
クーポン「AF-4903」で5％引き（アフィリエイトクーポンになりますのでご協力お願いします）
割引の詳しい仕組みに関してはこちらのページを参照ください。