ブルガリアが24日、ブルガリア語で機能する人工知能(AI)「BgGPT」の最新版を
公開した。パラメータ数がそれぞれ26億、90億、270億の3モデルで、公共機関や民
間企業が無料でAIアシスタントの作成に利用できる。270億モデルをベースにした
初の公共チャットシステムも国内全域で提供が始まった。
開発に当たった国立コンピューター科学・人工知能(AI)・テクノロジー研究所
(INSAIT)によると、26億モデルは同じくらいのサイズのブルガリア語オープンモ
デルよりも性能がずっと優れている。また、270億モデルはブルガリア語のチャッ
トで有料版「GPT-4」と同じぐらいのパフォーマンスを示している。
新しいモデルはいずれもグーグルの「ジェマ(Gemma)2」をベースとするが、ブル
ガリア語約1,000億トークンの事前学習を継続的に行ったり、新しいインストラク
ション・チューニング、モデルマージを導入したりするなど、改良点が多数ある。
新しいブランチ・アンド・マージ・スキームによって、目的とするスキル(ブルガ
リア語の理解・生成など)を確実に向上させると同時に、ベースモデルでできたス
キルを忘れてしまうようなことを防げるようになった。このため、英語でのパ
フォーマンスも落ちていない。