前回、前々回と話題のAI（人工知能）、ChatGPT（チャット・ジー・ピー・ティー）を紹介した。ChatGPTに関しては、これからも色々とおもしろいことをテストして、その結果を紹介しようと思っている。だが、その前にちょっと気になることがある。
世の中には、ChatGPTに代表される最近のAIの話題が溢れかえっている。やれ「AIを利用しないと時勢に乗り遅れる」とか、やれ「AIによってなくなる職業」とか、果ては「AIは人類を滅ぼす」というようなマスコミや評論家の流す論評、批評が先行して肝心のAIの中身を知らない人たちが多くいるように思われる。「AIの原理は難しいから」というのがその理由であろうが、原理そのものはそんなに難しいものではない。大雑把にどういう仕組みか知っていることによってAIの未来、これからのお付き合い方を自分を中心に描くことができるようになると考える。
それでは、AIの原理を自分が納得できる形でどうやって調べたらいいのだろう？ 答えは、AIに直接聞いてみたらいいのである。
筆者問：ChatGPTの原理について箇条書きで簡単に教えてください
ChatGPT回答：
1.ChatGPTは、自然言語処理（NLP）のタスクにおける深層学習モデルです。
2.GPTは「Generative Pre-trained Transformer」の略であり、Transformerと呼ばれるアーキテクチャを使用しています。
3.Transformerは、注意機構（Attention mechanism）を利用したエンコーダとデコーダのスタックから成ります。
4.エンコーダは、入力テキストを数値表現に変換する役割を果たし、デコーダはその数値表現を元に応答を生成します。
5.ChatGPTは、大量のテキストデータを事前学習しており、その学習データからパターンや文脈を学習します。
6.パターンや文脈の学習は、次の単語を予測するタスク（教師なし学習）に基づいて行われます。
7.学習後、ChatGPTは新しい入力文を受け取り、その文脈や過去の情報に基づいて応答を生成します。
8.ChatGPTは、対話や文章生成のようなさまざまなNLPタスクに利用できますが、訓練データに基づく予測となるため、時には正確な情報とは異なる回答を生成する可能性もあります。
9.ChatGPTは大規模なモデルであり、十分な計算リソースが必要です。学習には多くのパラメータと大量のデータが必要であり、高性能のハードウェアや分散処理が推奨されます。
以上の説明が理解できない場合、もう少しギヤーを落として聞いてみることができる。
筆者問：ChatGPTの原理について素人にわかりやすいように箇条書きで教えてください
ChatGPT回答：
1.ChatGPTは、コンピュータプログラムの一種で、言葉の意味を理解し、応答を生成することができます。
2.ChatGPTは、大量の文章を学習しています。これにより、言葉のパターンや文脈を理解することができます。
3.ChatGPTは、学習したパターンや文脈に基づいて、新しい文の意味を推測します。その結果、応答を生成します。
4.ただし、ChatGPTは情報を与えられたものに基づいて応答を生成するため、正確な情報であるとは限りません。
5.ChatGPTを使用するには、高性能なコンピュータや大量のデータ、計算力が必要です。
上の回答でわからない箇所を取り出して質問したり、もっと掘り下げたいところを取り出して質問できる。
筆者問：大量の文章をどうやって学習しているのですか？
ChatGPT回答：
ChatGPTは、大量の文章を学習するために、教師なし学習と呼ばれる手法を使用します。以下にその概要を説明します。
1.プレトレーニング（Pre-training）: ChatGPTは、事前に大規模なテキストコーパス（例: インターネット上の文章）を使用して、モデルをプレトレーニングします。これは、文章のパターンや文脈を学習するフェーズです。
2.マスクされた言語モデリング（Masked Language Modeling）: ChatGPTは、学習データ内の一部の単語をランダムにマスク（隠す）します。そして、マスクされた単語の周囲の文脈を基に、マスクされた単語を予測するように学習します。これにより、モデルは単語の関係性や文脈を理解する能力を獲得します。
3.ファインチューニング（Fine-tuning）: プレトレーニング後、ChatGPTは特定のタスクに適応するためにファインチューニングされます。タスクごとに、より具体的なデータセットや教師あり学習の手法を使用して、モデルのパフォーマンスを向上させます。ファインチューニングによって、ChatGPTは特定の応答やタスクに適した振る舞いを学習します。
このように、プレトレーニングとファインチューニングの組み合わせによって、ChatGPTは大量の文章から言語の理解と生成能力を獲得するのです。
ちょっと理解に苦しむ場合は、以下のように質問してみる
筆者問：もっと素人にわかるように説明してください
ChatGPT回答：
もちろんです。ChatGPTは、学習に大量の文章を使います。具体的な手順は以下のようになります。
1. 大量の文章を集める: ChatGPTは、たくさんの文章を必要とします。例えば、ウェブ上の記事やブログ、ニュース、書籍など、さまざまなテキストデータを収集します。
2. 文章のパターンを学習する: ChatGPTは、学習のためにこれらの文章を使います。モデルは、文章の中で言葉の関係や文脈を学びます。つまり、どの単語が一緒に使われることが多いのかや、どのような文脈で使われるのかを理解するのです。
3. 文章の予測を行う: ChatGPTは、学習したパターンを基に、新しい文章の意味を予測します。たとえば、与えられた文章の次に来る単語を予測することがあります。それによって、ChatGPTは文脈に基づいた応答を生成することができます。
4. タスクに合わせて調整する: ChatGPTは、特定のタスクに合わせてカスタマイズすることもあります。例えば、対話や質問応答のような特定の応答を生成するように訓練することがあります。その場合、タスクに関連したデータを使ってモデルを調整します。
つまり、ChatGPTは大量の文章を読み込んで、文章のパターンや文脈を学びます。その結果、新しい文章に対して適切な応答を生成することができるのです。
余談であるが、私が小学生の頃は、分からないこと知りたいことがあると、人目を気にせず恥ずかしがらず、先生に何度もしつこく納得できるまで質問できた。それで成績もよかった。中学校に上がるとクラスの雰囲気が一変し、質問をしにくい空気になった。普段「なんでも質問しなさい」と言っていた先生が、しつこく質問する私を睨みつけた。 「一々質問する代わりにしっかり本を読みなさい」 本を読むのが苦手な私はどうしてよいのかわからなくなって勉強が嫌いになった。「なぜ質問してはいけなかったのだろう？」 大人になるということは、僕にとって恥や世間体を気にして知りたいことも質問できなくなることであった。
「あのころにChatGPTがあったら勉強が嫌いにならずに済んだのに」 帰らぬ時に想いを寄せる今日この頃である。
