セキュリティが厳しくて生成AIが使えない・・・

「ChatGPTを工場で使ってみたい！」
「プライベートでChatGPT使ってて便利だから仕事でも使いたい！」

と思っていても、製造業の現場はセキュリティが厳しく、
「工場内ではインターネットが使えないようなっている」
「ネットは使えるけど、仕事に関連する情報を送るようなWebサービスは禁止されている」

という状況は多いのではないかと思います。
AIの性能の進化が激しい昨今において、ChatGPTを使って仕事をすることは、日々の業務の生産性や競争力を高める上で必須となってきています。

インターネット接続なし、オフラインで使える生成AIがある！

本記事ではそういったインターネットに接続できない環境であっても、ChatGPTのような対話型AIを使うことができるローカルLLMについて紹介していきます。

ローカルLLMって何？

通常のChatGPTはウェブブラウザを介して、インターネット上のAIにテキストを送って回答してもらうようになっていますが、ローカルLLMは、PC内でローカルにオフラインでAIを動かせるようして、そのAIを用いて回答生成が可能になるというものです。

有名なローカルLLMにMeta社が開発したLlama2というものがあります。
Llama2は誰でも使用可能なモデルとしてインターネット上に公開されており、ダウンロードにはインターネットが必要になるものの、一度PCにインストールしてしまえば、その後使用する際にはネット無しで使うことができます。

ネットが無くても使えるという面では便利なのですが、性能という観点からするとChatGPTの最新モデルであるGPT4にはかなり劣ってしまいます。
Llama2にもいくつかパラメタ数の違いでモデルがあり、最もパラメタ数の多い70BモデルがそれでもGPT3.5に少し劣るくらいという感じです。

ローカルLLMのチャットアプリ

こちらに関しては、下記サイトよりお問い合わせください。

https://spesill-local.studio.site

ローカルLLMに必要なハードウェア

誰でもダウンロードして使用できると言いましたが、動かすためのハードウェアとしてNVIDIA製のGPUが必要になります。

GPUとは、Graphics Processing Unitの略で3Dゲームの画像処理やAIの計算などに用いられている計算機です。GPUを製造している会社はいくつかあり、大抵のPCには既にどこかの会社のものが内蔵されているのですが、NVIDIA製のGPUは特にAIとの親和性が高く、現状ではNVIDIA製のGPUがAIを動かす上で必須のハードウェアとなっています。

一応、GPUを使用せずに動かせなくはないのですが、GPUが無いと計算時間が数十倍に増えるため、実務で使う上ではかなり使いづらくなってしまいます。

ChatGPTより実は仕事で便利なローカルLLM

ローカルLLMは性能面でGPT4や3.5より劣っていたり、必要なハードウェアとしてNVIDIA製のGPUが必要であったりといろいろと使う上での制約はあるのですが、ネット無しで使えるという以外でもいくつか便利な側面があります。

• 生成速度が速いもしくは安定している
  • インターネットを介さないので、テキスト出力までの速度が安定しているというメリットがあります。
• 専用モデルの使用
  • モデルがオープンであるため、医療や法律といった専門的な領域に特化するようにチューニングされたパラメタが公開されています。例えば医療用の知識に特化した「Meditron」は医療に関してGPT3.5を超えた性能を持っています。
• モデルのカスタマイズ
  • 専用モデルを自分たちで作ることもできます。学習データを自分たちで用意する必要がありますが、より自らが抱える課題に特化したAIを作成することができます。

モデルのカスタマイズなどは正にその会社に特化した課題解決に繋がるという意味ではとても有用なのではないかと思います。

まとめ

インターネット無し、オフラインでも使えるChatGPTのようなAI、ローカルLLMについて紹介しました。
導入方法などはLlama2のサイトなどに沿って進めれば、誰でも導入することができます。
弊社では、ローカルLLMの導入のお手伝いやハードウェアの選定、チャットツールの構築、カスタマイズなど、ローカルLLMに関する導入支援とツール開発を行っています。
ローカルLLM気になる！使ってみたい！という方は、ぜひ弊社に一度お問い合わせいただければと思います。

ローカルLLM導入のご相談はこちら

ローカルLLMサービス

お気軽にお問い合わせください。

インターネット接続せずに使える生成AI「ローカルLLM」を使いたい方はこちら

https://spesill-local.studio.site

インターネット接続せず、セキュアに生成AI活用ができる環境を提供します。具体的には、ローカルLLMを使用して、専用アプリを50万円～提供します。買い切りになるのでランニングコストはかかりません。

DIfy、Microsoft Copilot Studio、GPTsの構築支援のご相談はこちら

ノーコードAI構築支援

DifyやMicrosoft CopilotなどのノーコードAIツールの活用方法がわからない、社内に導入したけど使用している社員が少ない、生成AIを活用した新事業を立ち上げたい、という企業様を徹底的にサポートします！

お気軽にお問い合わせください。

汎用的な生成AIツールを導入したい方はこちら

専門家・技術者向け生成AIツール – SPESILL

Word、Excelと親和性が高く、高度な文章生成、図表から文字・文字から図表の生成ができ、ナレッジ検索ができるAIアシスタントツールです。

専門文書の作成や社内外からのお問い合わせ対応などに課題を感じている、人手不足で業務が逼迫している、埋もれている有益なデータが大量にあるなどナレッジマネジメントのお悩みがあれば是非お気軽にお問い合わせください。

運営会社について

製造DX.comを運営する株式会社ファースト・オートメーションは製造業特化の生成AI活用支援会社です。製造DX.com内で研究成果の一部を投稿しています。また、専門家・技術者向け生成AIツール「SPESILL（スぺシル）」を開発提供しており、特に反響をいただいております。ぜひご活用ください！