ブログ

トピック

#local-llm

8 本の記事

公開元のd3-liteによるPR仕分けデモ。担当グループ別のPRとMacのGPU表示・処理ログ

Decision 3.0をMacで動かす：3つの小型モデルで何を判定し、何を任せないか

PiRouter Team
Kaitchup の散布図：Qwen3.8-27B の GGUF 15 本について、横軸に MTP と vision を除いた体積（GB）、縦軸に BF16 に対する精度回復率（%）。金色の 95% 線の上に 12 本、下に GSQ-RCO IQ2_S、UD IQ2_XXS、UD IQ1_M の 3 本。右に 15 本の凡例（体積・回復率・出力トークン）

Qwen3.8 27B の量子化、Q4・Q2・Q1 で何が変わるか——Q3_K_XL は BF16 と同じ、同じ 2-bit でも 96% と 74%、Q1 は 53%

Linden Kern
bartowski の Nemotron-3.5-Lightning GGUF 各ファイルについて、ファイル名が謳う bpw とテンソル表から実測した bpw を並べたダンベル図。k/i-quant の全段が 4.5 bpw の床に張り付いている

Qwen3.8-Flash-Next の GGUF はどれを選ぶか——最小 4 段は「名前が違うだけ」に近い、ヘッダを読んだ実測

Linden Kern
手描きイラスト：並んだ二つの作業台。左の職人は木塊を鉋で薄く削り、右の職人は重い帳簿を棚へ運ぶ。二台の間に張った紐の中央に黄色い値札が一枚

GLM-5.3-Flash と Qwen3.8-Flash-Next——同じ $0.15 に、逆の削り方で着地した

Leo Kaka
三モデルのチェックポイント容量（23.5 / 65.2 / 83.5 GB）を RTX 5090 の VRAM 32 GB の線と並べ、単発 decode 速度 196.9 / 127.1 / 32.0 tok/s を対置した図。著者実測 2026-08-22

FreeToken × RTX 5090——120B MoE が 127 tok/s、その請求書

Leo Kaka
日本 8 団体の Hugging Face 公開モデル数と 30 日ダウンロード数の対比図：モデル数は llm-jp 266 が最多、ダウンロードは rinna 56 万回・sbintuitions 32 万回が上位、8 団体合計 591 モデル・約 136 万ダウンロード

日本の国産 LLM 591 モデルは、売却検討中のプラットフォーム上にある

Leo Kaka
同じ Qwen3.8-27B に対する三市場の異なる問い：量子化・ハーネス選定・クローズドモデルとの等価性

同じ Qwen3.8-27B、三つの言語圏で違う問い——評価が食い違う理由

Linden Kern
原記事のワークフロー図：計画から並列レビュー、修正ループ、マージ判定まで（Zenn・nrs 氏）

編成 70.3 対 単体 62.6——編成が勝つ三つの条件と、その請求書

Linden Kern