ハードウェアの制約で最初に直面するのは？ RAMです。

さまざまなモデルサイズの仕様を見てみましょう。7Bから13Bパラメータのモデルを動かすには、通常16GBから32GBのRAMが必要です。20Bパラメータに跳ね上がると、およそ48GBから64GBが必要です。120Bモデルのような重いモデルの場合は、120GB以上を用意してください。

ここで重要なのは、私たちは$15k のハードウェアセットアップに投資しており、ほぼすべてのモデルを展開できるということです。これが本当の能力です。励みになるのは、市場が成熟しハードウェアがより手に入りやすくなるにつれて、これらのコストは下がるはずだということです。より多くの人が、予算を気にせずに本格的なモデルをローカルで動かせるようになるでしょう。