ローカルLLMとは

もう少し詳しく

ローカルLLMは、AIモデルを自社の機器にインストールして動かす使い方です。入力した情報が外部のサービスに送られないため、機密性の高いデータを扱いたい場合に検討されます。

多くはオープンソースモデルを使います。最近は小さめでも実用的なモデルが増え、性能の高いパソコンであれば動かせるものもあります。インターネットにつながらない環境で使えるのも利点です。

ただし、クラウドの最新モデルと比べると性能が控えめなことが多く、機器の購入費や保守の手間もかかります。「何のデータを外に出したくないのか」を整理したうえで、クラウドとの使い分けを考えるのが現実的です。

中小企業の仕事でいうと

顧客の健康情報を扱う事業者が、記録の要約だけをローカルLLMで行い、それ以外の一般的な文章作成はクラウドのサービスを使う、といった分け方が考えられます。