PockotPockot 珀刻機

Pockot

研究ノート:ローカル AI はワット時台帳に耐えなければならない

研究ノート:ローカル AI はワット時台帳に耐えなければならない

問い

最も単純なオフグリッド計算は、最も飛ばされやすい計算でもあります。ワット時を持続ワットで割ることです。Pockot はこの台帳から始めます。有用なローカルモデルも、壁電源デモとしてしか動かないなら有用ではないからです。

出典付きデータ点

  • FAA は、一般的な旅客機持ち込みでは、予備リチウムイオン電池と電源バンクが 1 個あたり 100 Wh に制限されるとしています。出典:FAA PackSafe
  • Apple は M4 の Neural Engine が毎秒最大 38 兆回の演算に達すると述べています。出典:Apple M4
  • Raspberry Pi は AI HAT+ アクセラレーター variants を 13 TOPS と 26 TOPS と記載しています。出典:Raspberry Pi AI HAT+ documentation

読み方

100 Wh の参照値は、身近な携帯境界であるため実用的です。製品がどうあるべきかを示すものではありません。カリキュレーターに保守的なバッテリーフィールドを与えるものです。持続システムワットが 10 W なら、100 Wh はオーバーヘッド前で 10 時間です。1.2 のオーバーヘッド倍率を使うと、同じ包絡は約 8.3 モデル時間になります。

「持続」という言葉が重要です。ピーク NPU 数字はシステム全体を含みません。デバイスは CPU、メモリ、ストレージ、表示、センサー、電圧変換、待機損失、熱挙動にも電力を払います。Pockot は可能な限り、壁電源またはバッテリーでの実測消費を記録すべきです。

ツール規則

カリキュレーターはランタイムをモデル出力として示し、日次エネルギーを第二の出力として示します。デバイスがオーバーヘッド込みで 12 W の持続電力を必要とするなら、丸一日は 100 Wh の問題ではありません。現在のモデルでは、およそ 346 Wh の問題です。