ENGスケーリング則は続くのか？
生成AIセッションのパネルディスカッションのテーマの一つです。
Open AIの論文で「Scaling Laws for Neural Language Models」という論文があります。本論文では、スケーリング則という理論が示されているようです。
出典：Scaling Laws for Neural Language Models
https://arxiv.org/pdf/2001.08361
論文を読んだわけではないのですが、Webの情報によると、スケーリング則とは、トランスフォーマーを用いた大規模言語モデルは、モデルサイズ（パラメータ数）、学習に利用するデータの量、学習で利用する計算機リソースを大きくすればするほど、性能が上がるということのようです。
大量のデータを用意するのも、計算機リソースを用意するのも、コストがかかりますので、生成AIの性能の差は、資本力の差という事になります。
Open AIは業績が良くないにもかかわらず、多額の資金調達を行い、毎月のようにChatGPTが進化しているのは、この理論に基づいてのことなのかもしれません。
Webのデータはすべて学習しつくしたとも言われていますので、今後はどうやってデータを集めるかが重要になるかもしれませんね。そうすると、やはりプラットフォーマーが有利という事になるのでしょうか？
パネルディスカッションで深堀していきますので、生成AIにご興味のある方は、ぜひご参加ください。
ISIT祭りの詳細・申し込みはこちらから
https://www.isit.or.jp/matsuri2024/