LM（大規模言語モデル）とはビッグデータを活用し、精度が高いテキストを生成する技術の総称です。
質問に対する回答のほか、文章の要約、データの構造化・分類などにも役立ちます。
今回はLLMの意味や定義、具体的な種類、今後の展望や課題について解説します。
MENU
LLM（大規模言語モデル）とは
LLMとはLarge Language Modelsの略で、大規模言語モデルを指します。
主たる構成要素は計算量・データ量・モデルパラメータ数です。
大規模言語モデルは人間に近い流暢な会話ができ、会話データを学習して会話レベルを高められるのが特徴です。
いまだかつてない性能の高さから、世界中で注目を集めています。
LLMが従来の言語モデルと比べて何が違うのか、生成AIとの違いも含め解説します。
LLMの3つの要素
大規模言語モデルは、従来の言語モデルから計算量・データ量・モデルパラメータ数の3つの要素を大きくしたものです。
具体的にはコンピュータが処理する業務量、コンピュータに入力した文章データの情報量、ディープラーニング技術特有のパラメータのことです。
上記の変数を著しく巨大化することで、非常に精度の高い言語モデルの生成に成功しました。
LLMの代表例がChatGPTです。受け答えの質が格段に優れており、さまざまな分野でどのように活用できるか侃侃諤諤（かんかんがくがく）の議論が交わされています。
LLMと生成AIとの違い
生成AIは、自然言語処理技術を活用して人の言葉に近いレベルで文章を生成する技術やツールを意味します。
生成されるデータはテキストに限らず、音声や動画、コード、画像なども対象です。
テキストのデータを返すAIツールにはLLMを搭載するサービスが複数見受けられます。
生成AIはさまざまなコンテンツの出力が可能であり、なかでもLLMは言語に特化した技術だと理解すれば問題ないでしょう。
大規模言語モデル（LLM）の仕組み
大規模言語モデル（LLM）はまったく新しい技術ではなく、すでにある自然言語処理分野の派生です。
今までと異なるのは、プロンプト（テキスト）による指示のみで、翻訳や要約などさまざまなタスクが実現する点です。
これまでは翻訳タスク用や要約タスク用など、目的に応じて使用する言語モデルが分かれていました。
言語モデルの技術力を飛躍的に進歩させたのは、2017年のTransformerの登場です。
それまで主流だったCNNやRNNなどを用いたエンコーダ・デコーダモデルとは異なり、ネットワークアーキテクチャーをAttentionだけで構築するのが特徴です。
上記の変革によって機械学習の大幅な時間短縮をもたらし、速さと正確さの両立が実現しました。
事前にLLMに大量のテキストデータを覚えさせることで、回答の精度が著しく向上しています。
大規模言語モデル（LLM）の種類一覧
大規模言語モデルの主な種類を以下に示します。
| 名称 | 特徴 |
| Transformer | ・構造がシンプル、かつ高精度の出力が可能・機械学習の発展に大きく貢献した |
| BERT | ・Transformerの派生・文脈を理解した解釈ができる |
| GPT | ・OpenAI社開発のツール・複雑な指示にも的確な出力が可能 |
| PaLM | ・Googleが開発した大規模言語モデル・パラメータ数が非常に多く、高機能 |
| LLaMA | ・Meta社が開発した大規模言語モデル・パラメータ数が少ないにもかかわらず、高精度の出力が可能 |
それぞれの種類について、機能や他のモデルとの違いを解説します。
Transformer
TransformerはAttentionのみ使用するシンプルなモデルながら、機械学習の精度が非常に高いという優れものです。
簡単に仕組みを解説すると、Attentionは文意の把握に文中のどの単語に注目すべきか示すスコア付けを行います。
過去に蓄積したデータを活用して分析対象のデータに重みをつけ、推論に活用。
分析の際に単語の意味を考慮できるため、機械学習の精度やスピードの飛躍的な向上をもたらします。
Transformerの登場は大規模言語モデルをはじめ、ディープラーニング技術や自然言語処理モデルの急速な発展に寄与しました。
BERT
BERTはTransformerから派生したモデルです。開発元のGoogleが出した論文によると、一般的な11項目の言語処理指標において優位な結果をおさめたと記載があります。
離れた位置にある情報も適切に使用することで、従来と比べて文脈を深く理解した処理が可能になりました。
機械学習で事前に大量の文章データを汎用的に学習した後、少数のカテゴリ別データを用いて、特定のタスクに特化するようチューニングを施します。
会話型のクエリや複雑な条件を含む検索クエリに対しても、正確に回答を返せます。
Googleも英語圏での自然言語処理技術としてBERTを採用しているほどの機能性です。
GPT
GPTはOpenAIがリリースした大規模言語モデルの一種です。
2023年5月現在、GPT-4まで発表されており、回答の精度の高さから世界中で話題になっています。
GPT-4は抽象的な要素に対する処理能力が大幅に向上していて、高度な推論や複雑な指示への対応も問題ありません。
プログラミング言語の構築や表の生成など、人間が時間を要する難解なタスクも驚くべきスピードで完成させることが可能です。
PaLM
PaLMは2022年にGoogleから発表されたモデルで、大量のパラメータを有するのが特徴です。
パラメータ数は最大5,400億に達し、LLaMAの650億パラメータ、GPT-3の最大1,750億パラメータを大きく上回ります。
基本的に大規模言語モデルはパラメータ数の多さが性能の高さに直結するため、高い機能性を有することの証明です。
すでにアップデート後のモデルであるPaLM 2が登場しており、自然言語の生成以外にも数学やコーディング、多言語翻訳、推論などさまざまなことに役立ちます。
PaLMはGoogleが開発した対話型AI「Bard」やGmail、Googleドキュメントなど多数のGoogle製品に導入されています。
LLaMA
LLaMAはMetaが2023年に発表した大規模言語モデルです。前述までのモデルと異なり、少ないパラメータ数で高機能を実現しています。
他のモデルはパラメータ数が多すぎて、学習や計算にかなりのリソースを要するのがデメリットです。
大規模インフラを利用できない研究者が、新たに言語化モデルを開発する際のベースとして適しています。
大規模言語モデル（LLM）ができること
大規模言語モデルに聞きたいことや知りたいことを入力すると、適切な回答を得られます。
まとめたい長い文章を入力して、要約を依頼すると高い精度で返答を得ることが可能です。
文字列をベクトルや数値に変換して、解釈に利用するのも特徴です。
入力したデータの構造化・ラベル化、類似度の判定などに役立ちます。ここではLLMで何ができるのか解説します。
質問への回答
大規模言語モデル（LLM）が主にできることは、質問に回答することです。
プロンプトと呼ばれる質問文を入力すると即座に返答を得られます。
ただし、大規模言語モデルは機械学習したデータを根拠に回答するため、誤った回答を返す可能性があります。
たとえば「現在のアメリカの大統領を教えて」とプロンプトを投げかけても、正しい回答は得られません。
リアルタイムの情報は蓄積されたデータを分析してもわからないためです。
このような理由から古い情報を返す恐れがあるため、信頼性は高いとはいえないでしょう。
要約
大規模言語モデルは論文や長い文章の要約にも使えます。
キーワードをつぎはぎして文章を作成するのではなく、文意や本筋を把握して自分で作文できます。
人間でもWebや本などでインプットした知識を自分の頭を経由して文章をアウトプットしますが、大規模言語モデルはこの作業をスピーディーに完結できるのが魅力です。
文章自体も自然なため、そのまま使用しても問題ありません。
レポートや論文の作成補助にも便利な存在です。
数字化
大規模言語モデルを用いた場合、文字列をなんらかの意味を表すベクターに変換し、分類や類似度の計算ができます。
より具体的にいうと、テキスト文書を分類してラベルを付けられるほか、数値データに変換して類似度を推論。
大規模言語モデルでは文の意味を把握するために、単語ごとに区切り、ラベルに変換します。
次に文をベクトルに変換し、類似度を計算できる状態に変化させます。
最後に数値化して解釈に活用し、類似度の判定をするという流れです。
LLMを活用する手法〜PEFT〜
PEFTとは、LLMのような事前学習型モデルを、新しいタスクに順応させるための手法です。
端的にいうと、全体ではなく、モデルの一部をファインチューニングします。
最新の課題の解決を図るためには学習済みのデータのみでは足りず、都度データを取得し、既存のワークフローやビジネスに対応させるファインチューニングが必要です。
通常上記のプロセスには全パラメータを再学習する必要があるため、時間や費用がかかり、容易には実行できません。
ファインチューニングを効率的に行う手法がPEFTです。
計算コストの削減、壊滅的忘却の抑制、優れた汎化性がメリットです。
平たくいうと、コストを抑えながら、限られた学習データを活用して未知の状態にも柔軟に対応します。
PEFTのアプローチは、３つのコンセプト（トークン追加型・Adapter型・LoRA型）に分類できます。
| トークン追加型 | Adapter型 | LoRA型 |
| ・仮想トークンに関するデータを追加し、特定のタスクに固有の情報を取得・言語理解やテキストの翻訳、要約タスクに関して適用可能 | ・外部の特殊なモジュールを追加することでパラメータを更新・言語理解やテキストの翻訳、要約タスクに関して適用可能 | ・事前学習モデルを凍結し、低ランクの行列のみ更新・言語理解だけでなく、画像生成や画像の分類にも利用可能 |
LLMがIT業界や社会に与える影響と今後の展望
LLMを用いたサービスは今後さまざまな業界や我々の生活に浸透し、革命を引き起こす可能性が高いです。
OpenAIやGoogle、Metaなどの巨大IT企業が自社開発の言語化モデルのブラッシュアップを続け、自社製品に組み込む動きが過熱化するとみられます。
LLMとの融合で新たな製品やサービスが続々と登場し、シェア争いを繰り広げるでしょう。
LLMの開発競争が今後ますます加速するなかで、コミュニケーションや情報収集を飛躍的に簡便化・低コスト化するモデルやツールの開発が期待されます。
今後はより少ないパラメータ数での学習が可能な事前学習モデルや、逐次的学習が可能なサービスが登場する可能性も高いです。
シンギュラリティの実現はもう間もないと考えてよいでしょう。
大規模言語モデル（LLM）の今後の課題
大規模言語モデルは現状では万能なツールとは呼べず、さまざまな課題が残存しています。
とくに注意が必要なのは「アウトプットの真偽は不明であること」「個人情報漏洩のリスク」「学習データによる偏見や差別」です。
虚偽の回答や偏見、差別につながる発言も十分考えられ、人間のファクトチェックが重要です。
また入力した個人情報を勝手に使われる恐れがあるため、データの利活用には細心の注意が求められます。
精度のバラつき
第一の課題は、プロンプトの入力言語により精度にバラつきが生じることです。
なぜなら学習データであるテキストデータにさまざまな言語が交じっているためです。
プロンプトでは英語の精度が一番高いといわれています。
可能であれば英語を使うことで、より精度の高いアウトプットが期待できます。
ほかにはイタリア語やスペイン語、ドイツ語、フランス語なども高精度とされる言語です。
アウトプット内容の真偽は不明
LLMは確率的に高いテキストを並べているにとどまり、アウトプットの信頼性は十分に担保されません。
事実と異なる内容や、前後の文脈とは無関係な出力が行われる恐れはあります。
この現象はハルシネーション（幻覚）とも呼ばれ、まるでAIが幻覚を頼りに回答しているようにみえることが由来です。
正確性の問題は技術水準の向上によって、ある程度は進歩に向かうと思われます。
しかしいくら技術が進歩しても、常に100％正しい情報が出力されることは難しいため、事実確認は必要です。
個人情報漏洩のリスク
LLMに住所や氏名などの個人情報を入力すると学習に活用され、情報漏洩の恐れがあります。
無関係の第三者の質問に対する回答に、別の人の情報が出てくる場合もあるためです。
企業によっては個人情報の流出を懸念し、社員のLLM使用を禁止しているケースもあります。
日本でも、政府の個人情報保護委員会がChatGPTを開発するOpenAIに対して個人情報の取得方法に懸念があるとして、注意喚起を行っています。
LLMは業務効率化に役立つ反面、個人情報の誤拡散に相当な注意が必要です。
コストの問題
LLM開発には莫大なコストが必要なため、資金力が潤沢な一部の大手企業しか開発できないのが現状です。
一例を示すと、OpenAIはChatGPTの開発で約730億円の赤字を出しました。
大規模な言語モデルの開発は、オープンソースかどうかは関係なく共通して甚大なコストが発生します。
数億ものパラメータを持つシステムの構築は非常に難易度が高く、学習したモデルを実際に動作・運用する際にも多額のコストが生じます。
壊滅的忘却のリスク
LLMでは、事前学習時に獲得した言語知識を失う「壊滅的忘却」という事象を起こす可能性があります。
新たに知識を学習させると、蓄積した過去のデータが抜け落ちてしまう現象です。
極端な話ですが、一つの知識を覚え込ませたときに、過去の何十万ものデータを再度読み込ませるタスクが発生する恐れがあります。
壊滅的忘却によって意図しない汎用性の低下や性能の低下がつながることに注意が必要です。
学習データによる偏見や差別
AIは大量の情報を学習している一方で、偏見や差別が生じる可能性もあります。
Webに転がっているすべてのデータを学習の対象とするため、「アメリカの大統領は白人がなるべきだ」「女性は管理職になりにくい」など人種や性別にかかる議論をはじめ、行き過ぎた主張を展開する恐れがあります。
固定観念の存在を認識したうえで使わないと、炎上の火種になる可能性もゼロではありません。
しかし開発が進むにつれ、自ら偏見や差別につながる発言を自重する機能も備わりつつあります。
OpenAIのChatGPTは言語の微妙なニュアンスを認識でき、攻撃的な意図で使われている特定の単語やフレーズを避けることが可能です。
ただしまだ手放しに信頼できる水準には達しておらず、倫理的に問題ない発言かどうか人の手による監視が必要です。
大規模言語モデル（LLM）を理解し適切に活用しよう
大規模言語モデルは膨大な学習データを活用し、精度が高い回答を返します。
ビジネスに限らずさまざまなシーンで役立つ機能やツールです。
反面で虚偽や差別、偏見につながる回答をする恐れもあり、危険な存在でもあります。
とはいえ今後普及が進むのはほぼ間違いなく、既存のシステムや社会を変革に導く存在になる可能性が高いです。
資金力のある企業が業界をけん引し、さらなるスピードで開発を進める必要があります。
フォルトナベンチャーズではAI開発に取り組むベンチャーやスタートアップの案件も多数抱えています。
当社のエージェントは経営層とのコネクションも豊富で、内定につながるサポートが可能なためぜひご活用ください。
