インターネット接続なし、オフラインで使える生成AI！製造業の現場で使えるChatGPTライクなローカルLLM活用方法

生成AI動向

インターネット接続なし、オフラインで使える生成AI！製造業の現場で使えるChatGPTライクなローカルLLM活用方法

製造DX編集部

2024年03月22日 16時29分

インターネット接続なし、オフラインで使える生成AI！製造業の現場で使えるChatGPTライクなローカルLLM活用方法

セキュリティが厳しくて生成AIが使えない・・・
インターネット接続なし、オフラインで使える生成AIがある！
ローカルLLMって何？
ローカルLLMのチャットアプリ
ローカルLLMに必要なハードウェア
ChatGPTより実は仕事で便利なローカルLLM
まとめ
ローカルLLM導入のご相談はこちら
ITトレンドEXPO2024 Summerに出展します！
- ITトレンドEXPO 2024 Summer イベント概要
インターネット接続せずに使える生成AI「ローカルLLM」を使いたい方はこちら
DIfy、Microsoft Copilot Studio、GPTsの構築支援のご相談はこちら
汎用的な生成AIツールを導入したい方はこちら
運営会社について

セキュリティが厳しくて生成AIが使えない・・・

「ChatGPTを工場で使ってみたい！」
「プライベートでChatGPT使ってて便利だから仕事でも使いたい！」

と思っていても、製造業の現場はセキュリティが厳しく、
「工場内ではインターネットが使えないようなっている」
「ネットは使えるけど、仕事に関連する情報を送るようなWebサービスは禁止されている」

という状況は多いのではないかと思います。
AIの性能の進化が激しい昨今において、ChatGPTを使って仕事をすることは、日々の業務の生産性や競争力を高める上で必須となってきています。

インターネット接続なし、オフラインで使える生成AIがある！

本記事ではそういったインターネットに接続できない環境であっても、ChatGPTのような対話型AIを使うことができるローカルLLMについて紹介していきます。

ローカルLLMって何？

通常のChatGPTはウェブブラウザを介して、インターネット上のAIにテキストを送って回答してもらうようになっていますが、ローカルLLMは、PC内でローカルにオフラインでAIを動かせるようして、そのAIを用いて回答生成が可能になるというものです。

有名なローカルLLMにMeta社が開発したLlama2というものがあります。
Llama2は誰でも使用可能なモデルとしてインターネット上に公開されており、ダウンロードにはインターネットが必要になるものの、一度PCにインストールしてしまえば、その後使用する際にはネット無しで使うことができます。

ネットが無くても使えるという面では便利なのですが、性能という観点からするとChatGPTの最新モデルであるGPT4にはかなり劣ってしまいます。
Llama2にもいくつかパラメタ数の違いでモデルがあり、最もパラメタ数の多い70BモデルがそれでもGPT3.5に少し劣るくらいという感じです。

ローカルLLMのチャットアプリ

こちらに関しては、下記サイトよりお問い合わせください。

https://spesill-local.studio.site

ローカルLLMに必要なハードウェア

誰でもダウンロードして使用できると言いましたが、動かすためのハードウェアとしてNVIDIA製のGPUが必要になります。

GPUとは、Graphics Processing Unitの略で3Dゲームの画像処理やAIの計算などに用いられている計算機です。GPUを製造している会社はいくつかあり、大抵のPCには既にどこかの会社のものが内蔵されているのですが、NVIDIA製のGPUは特にAIとの親和性が高く、現状ではNVIDIA製のGPUがAIを動かす上で必須のハードウェアとなっています。

一応、GPUを使用せずに動かせなくはないのですが、GPUが無いと計算時間が数十倍に増えるため、実務で使う上ではかなり使いづらくなってしまいます。

ChatGPTより実は仕事で便利なローカルLLM

ローカルLLMは性能面でGPT4や3.5より劣っていたり、必要なハードウェアとしてNVIDIA製のGPUが必要であったりといろいろと使う上での制約はあるのですが、ネット無しで使えるという以外でもいくつか便利な側面があります。

生成速度が速いもしくは安定している
- インターネットを介さないので、テキスト出力までの速度が安定しているというメリットがあります。
専用モデルの使用
- モデルがオープンであるため、医療や法律といった専門的な領域に特化するようにチューニングされたパラメタが公開されています。例えば医療用の知識に特化した「Meditron」は医療に関してGPT3.5を超えた性能を持っています。
モデルのカスタマイズ
- 専用モデルを自分たちで作ることもできます。学習データを自分たちで用意する必要がありますが、より自らが抱える課題に特化したAIを作成することができます。

モデルのカスタマイズなどは正にその会社に特化した課題解決に繋がるという意味ではとても有用なのではないかと思います。

まとめ

インターネット無し、オフラインでも使えるChatGPTのようなAI、ローカルLLMについて紹介しました。
導入方法などはLlama2のサイトなどに沿って進めれば、誰でも導入することができます。
弊社では、ローカルLLMの導入のお手伝いやハードウェアの選定、チャットツールの構築、カスタマイズなど、ローカルLLMに関する導入支援とツール開発を行っています。
ローカルLLM気になる！使ってみたい！という方は、ぜひ弊社に一度お問い合わせいただければと思います。