Meta社の大規模言語モデルを紐解くこれまでとこれから

作成日：2024/08/09（金）業界動向

2024年1月Meta社は大規模言語モデル「Code Llama」の最新かつ高性能バージョンであるCode Llama 70Bをリリースしました。今回は、Meta社がこれまでに展開してきたLlamaシリーズの進化の軌跡と、今後この技術がどのように業界を変えるのかについて掘り下げていきます。コーディングLLMやLlamaの知見を深め、エンジニアとしてのリテラシーをより磨いていきましょう。

Code Llamaとは

Code LlamaとはMeta社によって開発されたプログラミング専用の大規模言語モデルです。大規模言語モデルとは、英語訳で「Large Language Model」で、略してLLMと呼ばれています。
LLMは、自然言語やプログラミング言語を処理するために設計された大規模な人工知能モデルです。

Code Llamaは、Python、Java、C++など複数のプログラミング言語に対応しており、コードの生成、修正、解析を自動で行うことができます。特に、Code Llama 70Bなどのバージョンは、大規模なパラメータを持ち、高い性能を示しています。

Code Llamaの特徴

1番の特徴は旧Facebook時代から蓄積された広範囲かつ大量のデータを扱ってきた技術やノウハウを持っているということです。

Meta社は多様なデータソースから得られる洞察をLLMに反映させることができ、特に多言語や多様なプログラミングスタイルに対する理解を深めることが可能です。

Facebookは社名をMetaに変更した際、メタバース事業を主軸に据えましたが、初期段階ではその事業は予想されたほどの成果を上げられずに苦戦しました。しかしながら、その後AI事業に焦点を再調整することで、ビジネスが再活性化し、株価を急上昇させることができました。Facebookができた2004年から蓄積された膨大なデータが、LLM構築アプローチの資産となり、高品質なLLMであるCode Llamaを生み出すことに繋がっているのです。

Code Llamaのこれまで

Llama初期バージョン
Llamaが初めてリリースされたのは2023年2月。Llamaの開発者は、ほとんどのNLPベンチマークでLlamaの13Bパラメーターモデルのパフォーマンスが、GPT-3 (175B パラメーター) のパフォーマンスを上回ったと報告しています。

Llamaの基礎モデルは公的に利用可能なデータソースから抽出された1兆4,000億のトークンを含むデータセットでトレーニングされました。Llamaは、自己教師あり学習を備え、微調整なしの基礎モデルとしてのみ利用できます。単体のGPUでも動作可能なほどに動作が軽く高性能なLlamaで、研究ライセンスのもとで使用されていましたが、ニューラルネットワークで学習した「重みデータ」が流出する事件が起きてしまいます。

その結果、Llamaに対するデータプライバシーとセキュリティの懸念が生じ、政府の調査が行われることになりました。しかし、この事件はAI研究におけるセキュリティと倫理の議論がより促進される良いきっかけとなったとも言われています。

Llama2
2023年7月18日、Meta社はMicrosoft社と提携して、Llamaの次世代モデルである Llama2を発表しました。 Meta社は7、13、700 億パラメーターの3つのモデルサイズでLlama2をトレーニングし、リリースしました。

Llamaと比べると、基礎モデルのトレーニングには 40%多くのデータが使用されました。Llama2には基本モデルと、Llama2 Chatと呼ばれる対話用に微調整されたモデルが含まれています。

Llama70B
Llama70Bは2024年1月29日に発表され、Code Llamaファミリーの中で最大かつ、最高のパフォーマンスを発揮するバージョンとして登場しました。Pythonに特化したCode Llama 70B Pythonも提供されています。

Llama3
Llama3は、Meta社が2024年4月19日に発表したカスタム24K GPUクラスタ（2万4576個のNVIDIA Tensor Core H100 GPUを搭載したAIクラスタ）を2つ使用し、15Tトークンを超えるデータでトレーニングされています。このトレーニングデータセットは、Llama 2で使用されたものより7倍大きく、その中には同4倍の量のコードが含まれています。その結果、Llama 3は過去最高性能となり、Llama2の2倍に当たる8Kコンテキスト長をサポートしています。

Llama3.1
2024年7月23日にオープンソースで公開されました。パラメーター数は4050億・700億・80億のモデルが用意されており、700億・80億のみであったLlama3と比べアップグレードされた形です。コンテキストウィンドウは12万8000、8言語を備えており、長文テキストの要約、多言語会話エージェント、コーディングアシスタントなどの高度なユースケースをサポートできます。さらに、Llamaモデルの出力を他のモデルの改良に利用できるように、ライセンスも変更されました。

Code Llamaのこれから

Code Llamaの将来性は、オープンソースかつ商用利用無料の方針により、大いに広がっています。オープンソースは、広範囲の開発者や企業が高度な技術を無償で活用することを可能にし、技術の進歩とイノベーションへ大きなインパクトを与えるでしょう。

また、Meta社が持つ自社のFacebookやInstagramといったプラットフォームでCode Llamaや他のAI技術を組み合わせて活用することで、新しいソリューションを開発し続けることができます。巨大なSNSプラットフォーマーであることを強みに、Code Llamaを強化させることで、開発環境やエンジニア間でのシェアを広げ、さらに影響力を増していくと言えるでしょう。

Meta社は、2024年後半に独自設計のAIプロセッサ「Artemis」を自社データセンターに導入することを予定しています。これは当初構築していた、NVIDIA製の高性能AIチップ「H100」35万台分からなる大規模データセンターのコスト課題を解決する大きな一歩になると言われています。

Artemisの導入は、Meta社の年間のエネルギーコストを数億ドル、サードパーティー製のAIプロセッサの購入コストを数十億ドル節約できる可能性があります。

Meta社のAI事業は、Code Llama以外の自然言語処理モデルの開発、画像認識技術、仮想現実（VR）と拡張現実（AR）技術のためのAIアプリケーション、さらにはAIを利用した広告ターゲティングと最適化など多岐にわたります。Code Llamaが拡張機能として、Meta社の別のAI分野のリソースを活用できるようになれば、ユースケースが非常に増えるようになります。

フリーランスエンジニアとして活躍するために

技術の進歩は日々加速しており、エンジニアにとっては最新の技術トレンドに常に敏感であることが求められます。プロジェクトごとに最適な技術選定が必要であり、これには言語や領域を問わず広範囲にわたる最新情報のキャッチアップが不可欠です。

LlamaのようなITエンジニアに影響を与えるツールは今後さらに数を増します。自分のスキルを高めることもとても大事ですが、トレンドのツールとうまく付き合い、自身のスキルと掛け合わせることで、高度なアウトプットが可能となるでしょう。

ギークスジョブでは、IT業界に関わる幅広い企業やプロジェクトとの関わりから、ITエンジニアの方が将来性の高いトレンド分野をフォローすることができます。ギークスジョブに相談すれば、個々のエンジニアのスキルや希望に合った案件を紹介することが可能です。エンジニア一人ひとりの個性に合わせたキャリアパスが描けるような効果的なバックアップを強みとしています。

より成長できる仕事内容を求めている方、より好条件の案件を探している方は、まずは無料登録をお待ちしております。理想の働き方が実現できるよう、案件探しから丁寧にサポートいたします。

▽ 無料登録（エントリー）はこちら
https://geechs-job.com/entry

まだフリーランスになることに迷いがある方へは、独立のご相談から承ります。これまでのご経歴やキャリアの目標をお伺いしながら、お一人おひとりに寄り添ったキャリアプランのご提案をいたします。

▽ 独立相談会への無料エントリーはこちら
東京：https://geechs-job.com/event/details/1
大阪：https://geechs-job.com/event/details/2
福岡：https://geechs-job.com/event/details/3
名古屋：https://geechs-job.com/event/details/189