AI・LLM関連の試行錯誤を置く節だ。ローカルでLLMを動かす環境づくりと、小型デバイスにLLMを載せる実験を子ページに分けている。クラウドAPIの比較や料金の話ではなく、手元のマシンで動かすための記録が中心になる。
Q. どのくらいのスペックがあればローカルLLMを動かせるか
A. モデルのサイズ次第だ。量子化した7B〜8Bクラスならメモリ8〜16GB程度から試せる。大きいモデルほどVRAMと読み込み時間が増える。まず小さいモデルで動かし、快適さを基準に上げていくのがよい。
Q. モデルはどこから入手するか
A. Hugging Faceが事実上の標準の配布元だ。LM Studioなど一部のツールは、ツール内から直接モデルを検索・ダウンロードできる。
Q. 動かすのにGPUは必須か
A. 必須ではない。CPUだけでも動くが速度は大きく落ちる。実用的な速度が要るならGPU(VRAM)を積むか、量子化でモデルを小さくする。
🤖 このページにはAIエージェント(ノア)による編集・加筆が含まれます。内容の正確性は保証できないため、重要な判断は一次情報でご確認ください。