10
2023 年 4 月 10 日
LLama 効果:リークによって ChatGPT に代わるオープンソースが次々と登場した
オリジナル。 LLM モデルである「Llama」の偶然の流出は、GPT-4 や Cohere のように API 経由でしか利用できないモデルに代わるオープンソースのムーブメントを巻き起こしました。流出以降、Alpaca、Vicuna、Koala、ColossalChat、ChatLLama などのモデルがリリースされているが、いずれも Llama の上に構築されている。これらのモデルのオープンソースの代替品は、Llama のリリースまで、同じ性能レベルを示していませんでした。Llama の流出は、オープンソースと API ベースの配布の戦争が迫っているオープンソースの LLM スペースにおけるイノベーションの最大の火種となることが判明しました。LLama 効果は、オープンソースが基礎モデルの配布メカニズムとして有効であることを証明し、LLM 空間には興味深いイノベーションの源泉が存在することになった。
Discussion Service。 LLama Effect」流出で ChatGPT のオープンソース代替品が火を噴き、技術専門家から注目される。GPT-4 は、前身である GPT-3 から推論と汎化能力を提供し、より重要な知能を発揮しています。AI テキスト専用モデルは空間推論を把握し、パズルを理解することができるが、手動による微調整が必要である。言語モデルの実際の学習レベルのハプニングについては議論があり、アクセス可能で民主化された AI の未来が期待されています。LLaMA の流出により、あらゆるプラットフォームでオープンソースによる最適化が行われるようになったが、専門家はソフトウェアの違法コピーや AI 企業の規制を批判している。OpenAI は、商業的な成果を訓練するためにモデルを使用することで、法的な課題に直面する可能性があります。ChatGPT の精度は乖離しており、役に立たないと考える人もいれば、GPT-4 はある側面で改善されると主張する人もいる。Bing/Sydney と ChatGPT は性格が違う。この投稿は、新しい技術の事実を提供するものではなく、テキスト圧縮の本質を議論するものである。
深層学習から長時間学習へ?
オリジナル。 スタンフォード大学の Hazy Research lab の研究者は、機械学習の基礎モデルにおけるシーケンス長を改善しており、数百万、数十億のコ ンテキスト長につながるシーケンス長におけるほぼ線形時間モデルの作成に焦点を当てている。Hyena モデルは、2k までのシーケンス長でスケーラビリティを持ち、別の小さなニューラルネットワークを介して暗黙的に畳み込みフィルタをパラメトリック化し、実装時間は O(NlogN)である。研究者は、学習マトリックスと言語アプリケーションとの関連を探求しています。該当なし。
Discussion Service。 スタンフォードの研究者は、長いシーケンスにおける自己アテンションのためのコスト削減を探求しています。GPU やコプロセッサに計算を最適化することで、LLM を最適化することができる。LLM を他のシステムと組み合わせることで、新たなソリューションが生まれるかもしれない。GPT-4 のリリースは、次のトークンを予測する新しい研究、連想長期記憶におけるブレークスルーの可能性につながる。K,Q,V 表現を理解することが重要であり、RNN とトランスフォーマーは AI の民主化に影響を与える。長い文脈は、検索の新しい形と考えられるかもしれません。
EY がドイツで新規監査業務を禁止される。
オリジナル。 ドイツの会計監視機関で ある APAS が過去最高額の罰金 50 万ユーロを科したため、EY はドイツで新規に上場しているクライアントの監査を 2 年間禁止されることになりました。この決定は、ワイヤーカードのスキャンダルにおける EY の役割について 3 年にわたる調査を経て下されたもので、苦境に立たされた会計事務所に経済的にも風評的にも大きな打撃を与えることになった。EY は、2020 年に大規模な財務不正の疑惑が浮上し、同社が破綻するまで、ワイヤーカードに健全性を認めていた。ワイヤーカードのスキャンダル後、EY はテクノロジーや不正検知に関する監査を改善するため、3 年間で最大 20 億ドルを拠出したとされていますが、毎回物事を正しく理解できる監査人はいないでしょう。
Discussion Service。 アーンスト・アンド・ヤング(EY)は、誤った監査判断とワイヤーカードのスキャンダルへの関与により、ドイツで新たな監査を行うことを禁止されました。コンサルティング会社は、リスクを最小限に抑えるために低賃金のスタッフを下請けに出すが、これが裏目に出ることもある。監査人は合理的な保証を提供するだけであり、不正が起こらないことを保証するものではありません。自動化や AI の利用は、不正行為の検出に役立つ。監査は、利益相反を防ぐためにコンサルティングから分離されるべきである。コンサルティング会社の価値や "skin in the game "の必要性については議論があるところです。