メインコンテンツまでスキップ

26

2023 年 5 月 26 日

数学のすべてがわかる本(2013) [pdf]

業界の反応

  • 'Everything you always wanted to know about mathematics'は、カーネギーメロン大学の CS と数学の学部生を対象とした 1 学期のコースで使用されている数学の教科書です。
  • 本書では、各章に序章を設け、会話調に仕上げています。
  • コメントでは、書籍、ウェブサイト、オンラインコースなど、数学を学ぶためのさまざまなリソースを推奨するとともに、テーマへのアプローチのヒントを提示しています。

内部告発者がドイツのニュースサイトに 100GB のテスラ機密を投下

  • 内部告発者がテスラの 23,000 以上の内部ファイルをドイツのニュースサイトに流出させ、同社が無視したとされる危険なオートパイロットの不具合のパターンが明らかになりました。
  • ファイルには、2,400 件以上の自己加速の苦情と、幻覚ブレーキや意図しない加速を含む 1,500 件以上のブレーキ機能の問題が含まれており、1,000 件以上の事故報告が提出されています--主に米国とドイツで。
  • Handelsblatt は、Fraunhofer Institute for Secure Information Technology にデータの信憑性を確認したところ、ドクターストップや捏造の証拠は見つからなかったという。テスラはこの記事を阻止しようとしましたが、ハンデルスブラットは欧州連合法に基づく緊急の公益的問題であるとして、この記事を掲載しました。

業界の反応

  • 内部告発者が 100GB のテスラ機密文書を流出させ、同社の自動運転ソフトウェアに組織的な欠陥がある可能性があることを明らかにしました。
  • テスラ CEO のイーロン・マスクの「自動運転車の価値は 5 倍になる」という主張は、投資家から異論が出ているが、誇大広告、遅延、最終的な達成という彼の成功法則を賞賛する声もある。
  • 自動車市場全体におけるテスラのシェアは拡大しているが、EV 車市場におけるシェアは縮小しており、これは悪い兆候と言えるかもしれない。さらに、テスラ車は交換部品が高価であるため、保険料の上昇につながり、テスラは顧客から情報を奪うなど、顧客に敵対的な行動をとっていると批判している。

AI キヤノン

  • AI カノンは、現代の AI の最も重要な部分をカバーするリソースのコレクションです。
  • 基礎的な学習教材、実践的なガイド、市場分析、画期的な研究成果などが含まれています。
  • 主要な論文は、トランスフォーマーモデル、生成 AI、GPT-3 を含む最新の LLM をカバーしています。
  • 画期的な研究成果としては、Google の LaMDA や OpenAI の GPT-4 などがあります。
  • スタンフォードやフェイスブックなど様々なモデルが、情報検索による LLM の精度向上を目指しています。
  • Constitutional AI は、自律的で無害な AI アシスタントのアイデアを提案し、様々なプラットフォームが LLM の予測能力を高めています。
  • Google、Northeastern University、Meta の Generative Agent は、LLM のスキルアップを目指す。
  • コード、動画、画像、音声を生成する技術の開発を目指した研究です。
  • DeepMind と Med-PaLM は、タンパク質構造予測や USMLE 形式の問題に回答できる言語モデルを通じて、医療分野の向上を目指しています。

業界の反応

  • ベンチャーキャピタルの a16z は、AI の明確な領域と AI に依存して動作するソフトウェアやプラットフォームをカバーする、AI を理解するためのベスト 50 リソースのリストである「AI Canon」を発表しました。
  • Hacker News 読者は、a16z の投資手法と過去の実績を批判し、暗号通貨、NFT、Web3 への関与に不賛成を表明する者もいる。
  • また、教科書を含む生成 AI に関する追加リソースを提供する読者もいれば、暗号に対する懐疑的な意見を述べ、AI Canon を有用なリンクリストとして賞賛する読者もいます。

カスタムデータセットで GPT ライクな大規模言語モデルを微調整する方法

  • StableLM、Pythia、RedPajama-INCITE モデルの重みをサポートする GPT-NeoX モデルの nanoGPT ベースの実装である Lit-Parrot を使って、カスタムデータセット上の大規模言語モデル(LLM)を微調整する方法を学びましょう。
  • Lit-Parrot の支援により、Open LLaMA、StableLM、Pythia などの利用可能な高品質オープンソース LLM を、金融に関する質問に答えるチャットボットのトレーニングなど、特定の命令データセット上で微調整することができます。
  • Lightning AI は、LoRA と Adapter を用いた事前学習と微調整をサポートする大規模言語モデルのクリーンで堅実、かつ最適化された実装を AI/ML コミュニティに提供するために Lit-Parrot をリリースしました。この記事では、インストール、モデルの重みのダウンロード、データセットの処理、finetune_adapter.py と generate_adapter.py スクリプトによるモデルの微調整のプロセスを読者に案内します。

業界の反応

  • ファインチューニングは、狭い用途のケースで LLM のパフォーマンスを向上させる費用対効果の高い効率的な方法である。
  • ベクトルデータベースやエンベディングを使うことでコンテキストを提供することができますが、ファインチューニングを行うことで LLM の能力を高め、正確で適切な情報を提供することができます。
  • しかし、モデルの微調整には、汚染やオーバーフィッティングのリスクが伴います。

Firefox が無関係なページの上に Mozilla VPN のポップアップ広告を表示した

  • Firefox が無関係のページの上に Mozilla VPN のポップアップ広告を表示し、閉じるまで Firefox の他の UI を無効にしていました。
  • 複数のユーザーから同様の事例が報告されており、バグ 1834728 に関連している可能性があります。
  • Mozilla はこの問題を認め、サポートページで回避策を提供しています。

業界の反応

  • Mozilla、ブラウジング中に自社 VPN のポップアップ広告を表示し、ユーザーの同意に反するとして反発を受ける
  • Firefox のコアとなるブラウザ体験を改善する代わりに広告やその他の無関係な製品に注力するなど、Mozilla の方向性にユーザーが不満を表明している
  • LibreWolf のような代替案を提案するユーザーもいれば、Mozilla がより透明性を高め、ユーザーのプライバシーを尊重することを求めるユーザーもいる。

戦争はラケット(1935)

  • War Is a Racket」は、元海兵隊高官のスメドレー・バトラー少将による有名な小冊子である。
  • バトラーは、戦争の本質と原因について、わかりやすい言葉で語っています。
  • 1935 年に書かれたとはいえ、この小冊子は今に通じるものがあります。

業界の反応

  • コメントでは、米国の軍事支配の利点と欠点、軍産複合体の役割について、効率性や資源のより良い配分について様々な視点から議論されています。
  • また、アフガニスタン、イラク、ウクライナといった具体的な紛争についても触れられており、介入の有効性や道徳性についても意見が大きく分かれています。
  • コメント欄には、政治的・社会的な問題に対するさまざまな意見が反映されており、議論がいかに余計な話題に飛び火するのかを示す一例となっています。

コロラド州、自治体のインターネットを制限する法律を廃止

  • コロラド州は、自治体のインターネットを制限し、地域社会に高度なブロードバンドインターネットサービスを構築するために有権者の許可を必要とする法律を廃止し、自治体がブロードバンドの選択肢を模索しやすくなった。
  • この法律は、自治体インターネットのようなインフラプロジェクトで税金の無駄遣いを防ぐ方法としてケーブル業界によって推進されていたが、コロラド州の多くの町や郡にとって障害となっていた。
  • 今回の廃止により、住民投票の必要性がなくなり、コロラド州は連邦政府のブロードバンド資金の対象となり、プエブロなどコロラド州の一部の都市は、住民により良いブロードバンドオプションを提供するために取り組んでいます。

業界の反応

  • コロラド州は、自治体インターネットを制限する法律を廃止した。法律の動機として、納税者の税金がインフラプロジェクトに浪費されるのを防ぐというケーブル業界の利益を挙げている。
  • 自治体インターネットは、ロングモントやチャタヌーガなどの都市で成功し、住民に信頼性が高く、安価で、制約のないインターネットアクセスを提供している。
  • 特に在宅勤務が主流となっている地域では、シンメトリックファイバーインターネットがますます必要不可欠になってきています。

LLM の概念を視覚的に直感的に説明(LLM 大学)

  • LLM University は、LLM のコンセプトを視覚的・直感的に説明するためのプラットフォームを作りました。
  • このプラットフォームでは、ユーザーはダッシュボードからさまざまなモジュールにアクセスすることができます。
  • 解説は、複雑な法律概念を簡略化し、理解しやすくなるように設計されています。

業界の反応

  • LLM University は、視覚的で直感的な説明、コード例、ビデオコンテンツを備えた大規模言語モデルに関する無料コースを公開しました。
  • このコースでは、LLM の理論やトレーニングよりも、その応用を重視しており、今後のコンテンツへの提案も歓迎しています。
  • 一部のユーザーからは、教材のアクセシビリティに関する懸念が寄せられており、LLM の解釈可能性に関する論文も公開されています。Jay Alammar による関連技術コンテンツについては、肯定的なフィードバックが寄せられています。

Deno 1.34: Deno コンパイルが NPM パッケージをサポート

  • Deno 1.34 リリースは、npm と Node.js との互換性の向上、全体的な生活の質と開発者の経験の向上、および将来のパフォーマンス向上のための基盤の確立に焦点を当てています。
  • 主な機能としては、npm パッケージによる deno コンパイルのサポート、deno タスクと CLI フラグでの glob サポート、IP アドレスによる TLS 証明書などがあります。
  • その他、設定ファイルの改善、言語サーバーの改善、Deno API の変更、npm と Node.js の互換性の改善、V8 と TypeScript のアップデートなどがあります。

業界の反応

  • Deno 1.34 が NPM パッケージをサポートしたことで、プロジェクトの方向性と焦点について議論されるようになった。
  • NPM の互換性が Deno の本来のビジョンを損なうという懸念がある一方、純粋な Deno プロジェクトを必ずしも害することなく、より広く採用するために不可欠であるという意見もあります。
  • ソフトウェア開発における実用性とプラグマティズムの重要性を強調し、トレードオフや妥協を伴う可能性があるとする関係者の意見。

Go で Raft を実装した上で、分散キーバリューストアを実装する

  • Go で Raft を実装した上で、分散キーバリューストアを実装する方法を説明する投稿です。
  • Raft の 2 つの主要なコンポーネントであるリーダー選出とログレプリケーションをカバーし、再構成とスナップショットについても説明しています。
  • この投稿には、ステートマシンを使ったモデリングと HTTP エンドポイントの構築が含まれており、教育目的でのみ作成されています。

業界の反応

  • この記事は、高度な概念と長期的なプロジェクトの献身をカバーしていると賞賛されている
  • 技術面接は単純すぎる、あるいは質の高いエンジニアを見つけるには無関係であるとの批判がある。
  • 開発者が分散型データベースや Raft の実装を構築した経験を語り、別のスケーラビリティ手法や学習リソースを提案している。