設立ノート：有用なローカル知能には電力予算がある
2026 年 5 月公開
ギャップ
クラウド AI は一つの仮定から始まります。ネットワーク、電力、アカウント、データセンターが動き続けるという仮定です。Pockot はその仮定を外すところから始めます。
問いは、ポケットデバイスが大規模データセンターモデルを真似できるかではありません。それはできません。問いは、デバイスが実際の包絡の中で生きなければならない時、どんな有用なローカル知能が残るのかです。アクセラレーター吞吐、持続ワット、バッテリー Wh、メモリ、ストレージ、モデルサイズ、熱制限、オフラインコーパスです。
その下限は動いています。Apple は M4 Neural Engine が最大 38 trillion operations per second を提供できるとしています。出典：Apple M4。Raspberry Pi AI HAT+ product brief は、13 と 26 TOPS のアクセラレーター variants を示しています。出典：Raspberry Pi AI HAT+ product brief。Qualcomm Snapdragon X Elite ページは、このプラットフォームが 13B parameters を超える生成 AI モデルを on-device で実行できると述べています。出典：Qualcomm Snapdragon X Elite。
これらの数字は有用ですが、十分ではありません。TOPS は、システムがどれだけ長く動くか、モデルにどれだけメモリが使えるか、ランタイムが成熟しているか、オフライン知識にどれだけストレージが残るか、熱スロットリングが出た時に何が起こるかを示しません。
Pockot は、これらの制約を見えるようにするためにあります。
なぜ今重要なのか
小型モデルには、すでに公式の on-device 経路があります。Meta の Llama 3.2 リリースは、一部の edge と mobile devices 向けの軽量テキスト専用 1B と 3B モデルを含み、1B と 3B モデルについて 128K-token context length を示しています。出典：Meta Llama 3.2。
これで問題が変わります。ローカルデバイスは、最大モデルを動かせるかだけで評価される必要がなくなります。タスク適合で評価できます。ローカル文書を要約できるか。保存済みコーパスを検索できるか。現場ノートを助けられるか。修理マニュアルを説明できるか。私的ログを維持できるか。ローカル参照に基づいてコードを下書きできるか。ネットワークなしで翻訳できるか。これらはクラウド規模の汎用性より狭いですが、狭いことは無用を意味しません。
電力境界も具体的です。FAA の航空旅客と電池に関するページは、予備リチウムイオン電池とパワーバンクについて 100 Wh を標準的な境界として扱い、より大きな電池には定められた制限の下で航空会社の承認が必要だとしています。出典：FAA batteries。Pockot は 100 Wh を実用的な参照点として使います。製品主張ではありません。持続 10 W なら、100 Wh は変換損失、熱効果、ワークロード変動を差し引く前に 10 時間の単純なモデル稼働を意味します。これは計算であり、保証ではありません。
新しい仕事は、生存物語を書くことではありません。クラウド依存を外した時にデバイスが何を続けられるかを測ることです。
その測定はローカルでなければなりません。冷却されたラボで壁電源につないだ benchmark は有用ですが、バッテリーで動き、自分の参照資料を保存し、電源喪失後にきれいに復帰する小型筐体とは違います。一つの prompt に速く答えてから過熱するモデルと、何時間もゆっくり働くツールは別物です。Pockot はそれらを分けます。
Pockot が研究すること
Pockot は六つの問いから始めます。
第一に、特定のオフラインタスクにとって最小の有用モデルは何か。1B、3B、13B モデルは互換ではありません。答えは、タスク、量子化、コンテキスト、レイテンシ、メモリに依存します。
第二に、現実的な持続消費電力はどれくらいか。ピークのアクセラレーター数字は持続システム数字ではありません。デバイスには CPU、メモリ、ストレージ、ディスプレイ、無線、センサー、熱オーバーヘッドがあります。
第三に、どれだけのローカル知識が必要か。オフライン有用性はコーパスに依存します。モデルを動かせても、関連するマニュアル、ノート、地図、参考資料を保存できないデバイスはレジリエントではありません。
第四に、どのランタイムが測定可能か。Pockot は曖昧な互換性主張より再現可能な測定を優先します。有用な項目は、チップ、モデル、量子化、測定があれば tokens per second、持続ワット、実行条件を名指しすべきです。
第五に、何をオフラインで更新できるか。「自律的に改善」は慎重に扱う必要があります。ローカルデバイスは、検索更新、ノート統合、ツールログ、小さな adapter 実験を支援できるかもしれません。それは自律的なモデル改善についての支持されない主張とは違います。
第六に、何が最初に失敗するか。ポケットシステムでは、制限要因はバッテリー、熱、メモリ帯域、ストレージ、モデル品質、またはユーザーがコーパスを維持する能力かもしれません。
私たちの方法
最初のツールはオフライン計算実現性カリキュレーターです。v0 は TOPS、持続ワット、バッテリー Wh、モデルサイズ、量子化、ストレージ、コーパスサイズを入力します。モデル稼働時間、概算モデルメモリ、残りストレージ、ストレージ適合、B params あたり計算量、保守的な仮定階層を返します。
このカリキュレーターは意図的に控えめです。性能を保証しません。安全を認証しません。自律性を主張しません。仮定を反論できるほど見えるようにするだけです。
最初の研究ノートはデバイスクラスを比較します。スマートフォン級 NPU、ノート PC 級 NPU、Raspberry Pi とアクセラレーターモジュール、小型専用 edge boxes です。出力は、何がローカルで動き、どれだけ長く動き、どの制約を受けるかの生きた表になるべきです。
プロジェクトは保守も追跡します。オフライン有用性は推論だけではありません。ローカルコーパスの更新、ファイル完全性の確認、私的ノートの保存、状態のエクスポート、ローカル参照セットが不完全な時に低い信頼度を説明することを含みます。地味な制約ですが、デモと人が実際に持ち続けられるデバイスの違いです。
Pockot の運用上の問いは単純です。ネットワークが消えた時にも有用な最小スタックは何か。そして、そのスタックのどの部分がまだ欠けているのか。