生成AI動向100万トークン入力できるAI、Gemini 1.5 Proを使って超長文の文書について質問してみる
ネットが無くても大丈夫！製造業の現場で使えるChatGPTライクなローカルLLM活用方法
もくじ
セキュリティが厳しくて生成AIが使えない・・・
「ChatGPTを工場で使ってみたい！」
「プライベートでChatGPT使ってて便利だから仕事でも使いたい！」
と思っていても、製造業の現場はセキュリティが厳しく、
「工場内ではインターネットが使えないようなっている」
「ネットは使えるけど、仕事に関連する情報を送るようなWebサービスは禁止されている」
という状況は多いのではないかと思います。
AIの性能の進化が激しい昨今において、ChatGPTを使って仕事をすることは、日々の業務の生産性や競争力を高める上で必須となってきています。
オフラインで使える生成AIがある！
本記事ではそういったインターネットが無い環境であっても、ChatGPTのような対話型AIを使うことができるローカルLLMについて紹介していきます。
ローカルLLMって何？
通常のChatGPTはウェブブラウザを介して、インターネット上のAIにテキストを送って回答してもらうようになっていますが、ローカルLLMは、PC内でローカルにAIを動かせるようして、そのAIを用いて回答生成が可能になるというものです。
有名なローカルLLMにMeta社が開発したLlama2というものがあります。
Llama2は誰でも使用可能なモデルとしてインターネット上に公開されており、ダウンロードにはインターネットが必要になるものの、一度PCにインストールしてしまえば、その後使用する際にはネット無しで使うことができます。
ネットが無くても使えるという面では便利なのですが、性能という観点からするとChatGPTの最新モデルであるGPT4にはかなり劣ってしまいます。
Llama2にもいくつかパラメタ数の違いでモデルがあり、最もパラメタ数の多い70BモデルがそれでもGPT3.5に少し劣るくらいという感じです。
ローカルLLMに必要なハードウェア
誰でもダウンロードして使用できると言いましたが、動かすためのハードウェアとしてNVIDIA製のGPUが必要になります。
GPUとは、Graphics Processing Unitの略で3Dゲームの画像処理やAIの計算などに用いられている計算機です。GPUを製造している会社はいくつかあり、大抵のPCには既にどこかの会社のものが内蔵されているのですが、NVIDIA製のGPUは特にAIとの親和性が高く、現状ではNVIDIA製のGPUがAIを動かす上で必須のハードウェアとなっています。
一応、GPUを使用せずに動かせなくはないのですが、GPUが無いと計算時間が数十倍に増えるため、実務で使う上ではかなり使いづらくなってしまいます。
ChatGPTより実は仕事で便利なローカルLLM
ローカルLLMは性能面でGPT4や3.5より劣っていたり、必要なハードウェアとしてNVIDIA製のGPUが必要であったりといろいろと使う上での制約はあるのですが、ネット無しで使えるという以外でもいくつか便利な側面があります。
- 生成速度が速いもしくは安定している：
インターネットを介さないので、テキスト出力までの速度が安定しているというメリットがあります。 - 専用モデルの使用：
モデルがオープンであるため、医療や法律といった専門的な領域に特化するようにチューニングされたパラメタが公開されています。例えば医療用の知識に特化した「Meditron」は医療に関してGPT3.5を超えた性能を持っています。 - モデルのカスタマイズ：
専用モデルを自分たちで作ることもできます。学習データを自分たちで用意する必要がありますが、より自らが抱える課題に特化したAIを作成することができます。
モデルのカスタマイズなどは正にその会社に特化した課題解決に繋がるという意味ではとても有用なのではないかと思います。
まとめ
インターネット無し、オフラインでも使えるChatGPTのようなAI、ローカルLLMについて紹介しました。
導入方法などはLlama2のサイトなどに沿って進めれば、誰でも導入することができます。
弊社では、ローカルLLMの導入のお手伝いやハードウェアの選定、チャットツールの構築、カスタマイズなど、ローカルLLMに関する導入支援とツール開発を行っています。
ローカルLLM気になる！使ってみたい！という方は、ぜひ弊社に一度お問い合わせいただければと思います。
ローカルLLM導入のご相談はこちら
お気軽にお問い合わせください。
無料で、有料級の限定コンテンツを配信中！
メールマガジン「製造DX.com-Plus」の登録はこちらから
製造DX.comでは、製造現場の生産性向上に役立つ先進的な情報を発信するメールマガジン「製造DX.com-Plus」を配信しています。メールマガジン読者限定の情報を配信しておりますので、ぜひご登録ください！
運営会社について
製造DX.comを運営する株式会社ファースト・オートメーションは製造業に特化した生成AI「SPESILL（スペシル）」を提供しています。製造DX.comでは生成AIに関する研究開発の成果を投稿しています。
