跳至主要内容

2024-10-11

「2 美元 H100s:GPU 租賃泡沫如何破裂」

  • GPU 市場經歷了顯著的價格下跌,H100 GPU 的價格從每小時 8 美元降至每小時不到 2 美元,這是由於供應過剩和需求動態的變化所致。- 促成這一轉變的因素包括預留計算資源的轉售、開放模型的微調,以及新基礎模型公司的減少,使得租用 GPU 比購買更有利。- 開放權重模型的出現以及更實惠的替代品,如 AMD 和 Intel 的 GPU,正在影響市場,並且越來越強調 AI 推理和微調,這得到了像 Featherless.AI 這樣的平台提供的具成本效益的 AI 解決方案的支持。

評論

  • 「由於供應過剩以及新基礎模型公司需求減少,H100 GPU 的租賃市場價格大幅下降,從每小時 8 美元降至每小時 2 美元。」
  • 這次降價已經戳破了 GPU 租賃泡沫,影響了那些大量投資於 GPU 基礎設施的投資者。
  • 這篇文章探討了透過更便宜的運算選項來實現更易於接觸的人工智慧環境的潛力,儘管這些低價格的長期可持續性以及人工智慧基礎設施的未來仍不確定。

特斯拉自動駕駛計程車

評論

  • 「特斯拉最近展示了其自動駕駛計程車,強調了一種與 Waymo 不同的自動駕駛計程車願景,後者使用昂貴的硬體如 LiDAR。- 這款自動駕駛計程車的設計沒有方向盤,顯示出一個依賴完全自動駕駛的未來,儘管它面臨著法規和技術上的挑戰。- 特斯拉的全自動駕駛(FSD)技術是一個爭論的話題,批評者質疑其是否準備好進行無監督駕駛,而支持者則對其潛力持樂觀態度。」

開始停用在 Chrome 穩定版中仍使用 Manifest V2 的已安裝擴充功能

  • 「Google 正在逐步淘汰 Chrome 擴充功能的 Manifest V2,並將從 2024 年 10 月 9 日起在預穩定版本中開始對這些擴充功能進行警告和停用。」
  • 鼓勵使用者轉換至 Manifest V3 替代方案,企業則有時間至 2025 年 6 月,透過 ExtensionManifestV2Availability 政策完成轉換。
  • 淘汰過程於 2024 年 6 月 3 日開始,自 2022 年 6 月起,Chrome Web Store 不再接受新的 Manifest V2 擴充功能,其中私人擴充功能自 2022 年 6 月起停止接受,公開或未列出的擴充功能則自 2022 年 1 月起停止接受。

評論

  • Chrome 正在從 Manifest V2 過渡到 Manifest V3 擴充功能,這影響了像 uBlock Origin 這樣的廣告攔截器,因為它限制了它們的功能。- 雖然 Chrome 正在進行這一轉變,但像 Firefox、Vivaldi 和 Brave 這樣的瀏覽器打算暫時繼續支持 Manifest V2。- 這一變化引發了關於用戶控制和隱私的討論,一些用戶考慮切換到其他瀏覽器以保留有效的廣告攔截功能。

「一個用 Lisp 編寫的 RISC-V Lisp 編譯器」

  • uLisp 是一個為微控制器設計的 Lisp 程式語言版本,支援的平台包括 Arduino、Raspberry Pi 和 ESP32。它包含了除錯、SD 卡介面以及 I2C/SPI 串列介面等功能,並提供了如 LED 閃爍和資料記錄等應用範例。一個重要的特點是針對 RISC-V 的 Lisp 編譯器,能將 Lisp 函數編譯成機器碼,支援遞迴函數和尾端呼叫最佳化以提升效能。

評論

  • 「一個用 Lisp 編寫的 RISC-V Lisp 編譯器正在開發中,但缺乏某些操作和功能以達到自我編譯的能力。該編譯器支持基本的 Lisp 函數,如 car 和 cdr,但尚未完成。uLisp 因其簡單性和適合微控制器的特性而受到關注,而 RISC-V 對技術愛好者和駭客來說是一個有吸引力的平台。」

「2024 年諾貝爾和平獎頒發給日本原子彈氫彈受害者團體協議會(Nihon Hidankyo)」

  • 2024 年諾貝爾和平獎頒發給日本原子彈受害者組織 Nihon Hidankyo,該組織由被稱為 Hibakusha 的原子彈倖存者組成,因其倡導無核世界的努力而獲獎。- Hibakusha 通過其具有影響力的證詞,對建立「核武器禁忌」這一全球反對使用核武器的規範做出了重大貢獻。- 此次表彰符合阿爾弗雷德·諾貝爾表彰造福人類努力的願景,並繼續激勵新一代推動核裁軍。

評論

  • 2024 年諾貝爾和平獎頒發給日本反核組織日本原水爆被害者團體協議會(Nihon Hidankyo),強調在全球緊張局勢下核武器的持續威脅。這個獎項提醒人們核戰爭的毀滅性影響,以廣島和長崎為例,並強調裁軍的重要性。獎項討論還涉及核威懾、國際法以及核大國之間的地緣政治動態的複雜性。

WordPress 替代方案

  • 「由於對內容管理系統(CMS)的興趣增加,特別是在當前 WordPress 情況下,本文已更新以包含更多 CMS 替代方案。- 該列表包含可下載的 CMS 選項,如 Ghost、Kirby、Indiekit、Craft CMS、ClassicPress、Statamic、Wagtail 和 Textpattern,不包括基於 API 和 git 的 CMS。- 值得注意的包括 Ghost 的內建電子郵件功能、Kirby 的文件導向方法,以及 ClassicPress 作為社群主導的 WordPress 分支,而像 Anchor 這樣的一些 CMS 則不再維護。」

評論

  • GitHub Pages 上的 Jekyll 被推薦用於使用 Markdown 的簡單部落格,提供易於使用的特性,無需本地設置,並允許內容在各平台間的可移植性。
  • 「部落格的替代方案除了 WordPress 之外,還有 Chyrp Lite、Typecho、Quartz 和 Logseq,而 Drupal、ProcessWire 和 Wagtail 則為開發者提供了更多的靈活性。」
  • 「靜態網站生成器如 Astro 和 Publii 越來越受歡迎,而對於圖片託管,建議使用 S3+Cloudfront 或 CloudFlare 等選項。」

「Google Play 下架了我的遊戲,卻不告訴我原因。」

  • 「獨立遊戲開發者 Tukkun 一直在開發《Anti-Idle: Reborn》,該遊戲已獲得 Google 和 Apple 的批准,並已進入封閉測試一個月。- 2024 年 10 月 7 日,Google 以「先前違規」和「高風險行為」為由終止了 Tukkun 的帳戶,但未提供明確的解釋,影響了他的工作和收入。- 這種情況突顯了一個更廣泛的問題,即開發者經常面臨模糊的帳戶終止,促使人們呼籲像 Google 這樣的平台提供更多的透明度和清晰度。」

評論

  • 「Google Play 未經解釋地移除了一位開發者的遊戲,這凸顯了科技公司對開發者擁有的重大控制權。」
  • 類似的事件也曾發生在亞馬遜和谷歌,帳號或應用程式被禁止,卻沒有明確的理由或足夠的支援。
  • 鼓勵開發者多元化其平台以降低風險,因為這種情況突顯了對科技巨頭客戶服務的更廣泛關注,以及在其平台上建立業務的依賴風險。

Nurdle Patrol

評論

  • 「在 2023 年,海上遺失了 221 個貨櫃,這相較於每年運輸的 2.5 億個貨櫃來說是個小數字,突顯了全球航運業務的規模。」
  • 塑膠顆粒,稱為 nurdles,是海灘上可見的污染物,並可能降解成微塑膠,進入食物鏈並造成潛在危害,儘管它們並不是海洋塑膠污染的主要來源。
  • 關於塑膠污染的討論強調了其複雜性和全球影響,包括從已開發國家向開發中國家出口廢棄物的問題,以及生態系統對塑膠污染的潛在適應,這引發了對未來塑膠使用的擔憂。

初步 CUDA 性能課程

  • 「Malte Skarupke 討論了他學習 CUDA 的經驗,指出它本質上是 C++,但增加了用於平行運算的額外功能。」
  • 優化 CUDA 性能的關鍵課程包括記憶體合併、了解各種記憶體類型,以及透過使用多個執行緒和將任務分離到不同的核心來最大化平行性。
  • 「Skarupke 強調撰寫 CUDA 就像是在解謎,主要應該先專注於平行執行任務,然後再進行速度優化。」

評論

  • 「討論的重點是透過管理暫存器、共享記憶體和執行緒區塊,來優化 CUDA 代碼以提升 GPU 性能,特別是針對 LHC(大型強子對撞機)實驗觸發器。」
  • 它強調了佔用率(活躍執行緒的數量)、暫存器使用和記憶體延遲之間的取捨,突顯了 CUDA 程式設計限制的演變。
  • 該對話比較了 GPU 和 CPU 的性能,指出了功耗和計算能力的差異,並強調在未來的硬體和軟體進步中平衡佔用率和性能的重要性。

「FBI 創建了一枚硬幣以調查加密貨幣的拉高出貨計畫」

  • FBI 開發了一種基於以太坊的加密貨幣 NexFundAI,用於調查和揭露加密貨幣的拉高出貨詐騙計畫,並導致重大法律行動。- 18 名個人和實體被控以詐欺和市場操縱,證券交易委員會針對三家做市商和其他九人提起訴訟,指控其抬高加密資產價格。- 司法部成功追回了 2500 萬美元的詐騙所得,這些資金將返還給投資者,突顯了該行動在打擊加密貨幣詐騙方面的成效。

評論

  • FBI 開發了一種加密貨幣來調查拉高出貨計畫,這是一種通過人為抬高資產價格後再拋售的欺詐行為。
  • 「這項倡議引發了關於誘捕行為以及執法機關製造假證券的倫理影響的辯論。」
  • 討論延伸至對加密貨幣合法性的更廣泛關注,以及政府在監管數位貨幣中的角色。

NotesHub:跨平台、基於 Markdown 的筆記應用程式

  • 該應用程式可在多個平台上使用,包括 iOS、Android、Windows、Mac、Apple Vision Pro 和網頁版,其中網頁版是一個免費的漸進式網頁應用程式,並可離線使用。- 筆記可以儲存在 Git 儲存庫中,與 GitHub 的整合最佳,並且也支援自我託管選項,如 Gitea、檔案系統或 iCloud Drive。- 該應用程式支援豐富的 Markdown 語法,並擴展功能以創建看板、基於 Excalidraw 的白板,還包括 Mermaid 和 ABC 音樂符號等功能。

評論

  • NotesHub 是一款多平台的多功能 Markdown 筆記應用程式,適用於 iOS、Android、Windows、Mac、Apple Vision Pro 和網頁版。- 該應用程式提供免費的漸進式網頁應用程式版本,而原生版本則需一次性付費,並且強力整合了將筆記儲存在 GitHub、GitLab 或 Bitbucket 等 Git 儲存庫中的功能。- 它具備豐富的 Markdown 語法、看板和基於 Excalidraw 的白板功能,用戶讚賞其簡潔的設計和離線功能,儘管它不是開源的,且對 Linux 的支援有限。

「不依賴您基礎設施的緊急斷電開關」

  • 「一個新的 Go 專案,Deadcheck,已經開發出來作為一個不依賴 cron 工作、計時器或資料庫的死者開關。- Deadcheck 與 PagerDuty 整合,這是一個受歡迎的事件管理平台,用於保持事件處於休眠狀態,直到錯過簽到,此時它會觸發警報。- 這個專案因其創新的警報和事件管理方法而顯著,無需傳統的排程或資料庫依賴。」

評論

  • Deadcheck 是一個以 Go 語言開發的專案,設計為一種死者開關,無需使用 cron 工作或資料庫,並與 PagerDuty 整合以管理警報。
  • 該專案引發了關於死者開關的討論,包括法律層面以及使用律師或區塊鏈系統等替代解決方案。
  • 使用者已建議使用像 Cronitor 或 OpsGenie 這樣的現有服務來實現類似功能,並且該專案計劃將整合擴展到 PagerDuty 之外。

理解大型語言模型中數學推理的限制

  • 「Iman Mirzadeh 等人撰寫的論文《GSM-Symbolic》探討大型語言模型(LLMs)在使用 GSM8K 基準測試時的數學推理能力。作者介紹了 GSM-Symbolic,一個具有符號模板的新基準,顯示出 LLMs 在數值變化和問題中的附加條款方面存在困難。研究表明,LLMs 可能會複製訓練數據中的推理,而不是進行真正的邏輯推理,這突顯了它們在數學推理方面的局限性。」

評論

  • 「大型語言模型(LLMs)在數學推理方面面臨挑戰,特別是當問題包含不相關資訊時,這會影響其表現。這一限制突顯了LLMs對模式識別的依賴,而非邏輯推理,使其在包含多餘細節的現實場景中效果較差。儘管有進步,LLMs仍然難以區分重要資訊與噪音,這是實際應用中所需的關鍵技能。」

「ARIA:一個開放的多模態原生專家混合模型」

  • 「Aria 是一個開放的多模態原生 AI 模型,整合了多樣的現實世界資訊以達成全面的理解,性能超越了像 Pixtral-12B 和 Llama3.2-11B 這樣的模型。它是一個專家混合模型,每個視覺和文本標記分別啟用了 39 億和 35 億個參數,增強了其語言和多模態能力。該模型的權重和代碼庫是開源的,方便開發者和研究人員輕鬆採用和改編。」

評論

  • ARIA 是一款全新的多模態原生專家混合(MoE)模型,其效能和推理速度超越了 Pixtral-12B 和 Llama3.2-11B,這是通過有效利用活躍參數實現的。儘管其記憶體使用量類似於 25B 模型,ARIA 的效能卻如同 10B 模型,運行速度則如同 4B 模型,這使其適合用於具備足夠記憶體的裝置,例如 M2 Max。該模型的專家專注於語法,專家選擇方面仍有改進空間,目前已開放測試,儘管有些用戶遇到了平台問題。