18
2023 年 4 月 18 日
ミニ GPT-4
ニュース。
MiniGPT-4 は、凍結した視覚エンコーダーと凍結した大型言語モデル Vicuna を、たった 1 つの投影層で位置合わせする言語モデルで、詳細な画像説明を生成したり、与えられた画像からインスピレーションを受けて物語や詩を書くなど、GPT-4 の示す同様の機能を有している。このモデルは、約 500 万組の画像とテキストを並べただけの計算効率が高く、視覚的特徴と Vicuna 大規模言語モデルを並べるための線形層のトレーニングだけで済みます。将来的には、3090GPU で実行可能な軽量モデルも準備中です。
業界の反応。
研究者は、BLIP2 の ViT-L+Q-former と Vicuna-13B を線形層で結びつけ、いくつかの画像-テキストデータセットで小さな層だけを訓練することにより、他を凌駕する MiniGPT-4 モデルを作成しました。その他、機械学習モデル、CPU 上での LLM の実行、より小さなモデルに基づく製品の販売などのコメントがあります。キング・アブドラ大学の研究者が、自然言語からコンピュータプログラムやウェブサイトを生成する GPT 変換アーキテクチャ「Vicuna」を開発し、学習効率を向上させた。GPTQ 4bit の高速かつ効率的な性能は、動画の要約など、ソフトウェアや技術への応用にエキサイティングな可能性を提示します。
レッドパジャマ LLaMA を友好的なライセンスで複製したもの
ニュース。
RedPajama は、先進的なオープンソースモデルを作成するプロジェクトで、1 兆 2000 億トークンを超える LLaMA トレーニングデータセットの再現から始まります。RedPajama は、事前トレーニングデータ、ベースモデル、命令チューニングデータとモデルの 3 つの主要コンポーネントからなります。RedPajama は、RedPajama 1.2 trillion token dataset を完全に公開し、より小さく消耗品のランダムサンプルは Hugging Face を通してダウンロードすることができます。
業界の反応。
Together XYZ は、OpenAI の GPT-3 を搭載した GPT-3 よりも 4 倍大きいオープンソースの言語モデルデータセット RedPajama をリリースし、言語モデルの開発・展開の閉鎖性についての AI 研究者からの批判に対応しています。Hacker News に寄せられたコメントでは、Pythia、OpenAssistant、StableDiffusion、Midjourney といった様々な派生製品に言及し、画質や制御を中心にその長所と短所が強調されています。AI ウェイトの著作権性について議論が続いており、RedPajama は、ビッグテックに対抗できる持続可能なオープンソース AI イニシアチブを作るという課題に直面しています。
サムスン、デフォルトの検索エンジンに Bing への移行を検討
ニュース。
サムスンは、Android ベースのスマートフォンやタブレットなどの Galaxy 端末で Bing をデフォルトの検索エンジンにするためにマイクロソフトと交渉していると報じられており、グーグルは "パニックモード "に陥っているようです。これは、ウェブ検索に最高の AI 能力をもたらすための競争が過熱する中で、グーグルが対抗策であるプロジェクト「Magi」に取り組んでおり、現在のサービスに対してはるかにパーソナライズされた体験を提供すると伝えられています。Google は最近、検索エンジンの AI をテストする社員を募集しており、2023 年 5 月にローンチする可能性があるという。
業界の反応。
Samsung はデフォルトの検索エンジンを Bing に切り替えることを検討しており、これは Google が Google Cloud Platform(GCP)に対する広告圧力を強め、Samsung と Apple からより多くの支払いを搾取するためであると考えられる。Bing は検索エンジンの取引の可能性で Google を出し抜く可能性があり、Microsoft は Samsung に新しいデバイスを作るよう働きかけています。Google の品質と SEO 戦術の低下に関する議論があり、ChatGPT、DDG、Brave Search、Bing などの代替検索エンジンにユーザーを押しやっています。さらに、Linux のデスクトップ体験が改善され、多くのユーザーが仕事で Linux を選択し、教育分野では Chromebook が好まれています。