LLMのモデルを動作させるのに、Llama.cppを利用するとよいという話を聞きました。どのようにインストールすればよいか教えてください。
Llama.cppのWebサイト(https://llama-cpp.com/)にアクセスします。下図のページが表示されます。
ページ内の[Download]ボタンをクリックします。下図の画面に切り替わります。
下にスクロールすると、プラットフォームの一覧が表示されています。今回は Windows版をダウンロードするので。
ダウンロード、「Llama.cpp for Windows]のボタンをクリックします。
ボタンをクリックすると、GitHubのページに切り替わります。下の図の画面(リリースページ)が表示されます。
下にスクロールすると、プラットフォームの一覧が表示されます。今回はWindows版をダウンロードするので、Windowsの
セクションの [Windows X64 (CUDA 13)]のリンクをクリックしてダウンロードします。~
ZIPファイルがダウンロードできます。
ZIPファイルを展開して配置します。今回は C:\tools\llama.cpp ファイルを展開して配置しました。
以上でインストール(配置)は完了です。