ブログ

トピック

#routing

5 本の記事

四つの層を左から並べた図：ルール 0.5 µs（筆者計測）、埋め込み 94 ms と LLM 分類 1,048 ms（いずれも Zenn・shogo_h 氏の計測）、Jev 70–500 ms（TypeSafe の公表値）。Jev の列には 1,000 件の費用試算と「低確信度は次の層へ」の注記がある

Jev は LLM の振り分けに使えるか：埋め込みと LLM 分類のあいだに置くなら、任せない判定は 4 つ

Linden Kern
3 モデルの 1 リクエストあたり請求額を比べた横棒グラフ。プロンプト 199k と 201k、出力 8k。Grok 4.7 は $0.446 から $0.900 に跳ね、この棒だけ黄色で強調。GPT-6 Sol（既定のキャッシュ書き込み込み）は $0.578 と $0.583、Claude Opus 5.5 は $0.956 と $0.964 でほぼ変わらない

Grok 4.7 の料金はプロンプト 200k でリクエスト全体が 2 倍：500k コンテキストの 199k と 201k の請求を GPT-6 Sol・Claude Opus 5.5 と比較

Leo Kaka
トークンコストを下げる四層を横に並べたカード。モデル世代 4.4 倍（DeepSeek V4-Pro から V4.1-Flash で入力ミスが $0.66 から $0.15）、effort 2.5 倍（effort 25 と 100 の出力トークン比、技術レポート §5.3.3）、キャッシュ 50 倍（入力ミス $0.15 からヒット $0.003）、ルーティング 10 倍（出力が Fable 5.1 $50 から Haiku 4.5 $5、回した分だけ）。各カードに効く場所を注記

NEC の「トークンコスト 10 分の 1」は四層の掛け算で届く。モデル世代・effort・キャッシュ・ルーティングの倍率を自分のトークン構成で計算する

Leo Kaka
机械的に複製される同一書式の山を俯瞰した机上——ただ一通の未開封の手紙だけが黄色いトレイに置かれている。

コーディングエージェントのトークンの大半は「考える」ではなく I/O。どの作業を安いモデルに回してよいかを 3 つの判定軸で決める

Leo Kaka
三列の比較図：ルール層は 0.5 µs・費用ゼロ（筆者計測）、埋め込み層（semantic-router + Qdrant）は p50 94 ms・正解率 67.5%、LLM 分類（gpt-5.6-luna）は p50 1,048 ms・正解率 100%（Zenn 実測）。1,000 件あたりの費用は本稿の試算で約 0.0003 ドル対 0.11 ドル

semantic-router と Qdrant で LLM を呼ばずに振り分ける——11 倍速で済む判定、済まない判定

Linden Kern