著者：岡野原 大輔
| 対話型サービスChatGPTは驚きをもって迎えられ、IT企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。
■目次 |
先日、ディープラーニング協会のGenerative AIテストを受けて、おかげさまで合格しましたが、この本まさに試験対策の教科書として使えると思います。
| 訓練データサイズを増やすほど言語モデルの性能が上がるというのは、直感にも合うが、モデルサイズを大きくすればするほど性能が上がるというのは、衝撃的な事実であった。（p.77） |
機械学習ではサチュレーションがつきものですが、言語モデルでは逆で一気に賢くなる（抽象的ですね、正解率の向上が見込めるということですね）ということ。ほんとに不思議でおもしろい世界です。
| モデルサイズを大きくしていく中で、それまで全く解けなかった問題がある時点から急に解けるようになる現象である。これを創発（Emergence）と呼ぶ。（p.80） |
人間で言うと、「壁を超える」という感じなのでしょう。これまでの機械学習の常識を覆すある意味画期的な事象です。こういうことがあるから、学びは面白いんですよね。
大規模言語モデル、生成AIは今後も信じられないような発展を遂げるでしょう。使われる側ではなく、使う側になれるように日々学びを続けたいと思います。