Transformer專用AI晶片 比晶NVIDIA H100快20倍

2024年6月26日

據媒體報導，美國新興的晶片創業公司Etched發布其首款AI晶片：Sohu。
這款晶片在運行大型模型時展現出了驚人的性能，其速度超越了行業巨頭NVIDIA的H100高達20倍，即便是與今年3月才面世的頂尖晶片B200相比，Sohu也展現出超過10倍的優越性能。
Sohu晶片的最大突破在於它直接將Transformer架構嵌入晶片內部。據Etched公司負責人Uberti透露，Sohu採用了台積電的先進4奈米工藝製造，不僅在推理性能上遠超GPU和其他通用人工智慧晶片，更在能耗控制上達到了新的高度。
對於Transformer技術而言，Sohu無疑是目前市場上最快的晶片，其性能與其他產品之間存在顯著的量級差異。值得一提的是，當前主流的AI產品如ChatGPT、Claude、Gemini和Sora等，均基於Transformer架構驅動。
作為世界上首款Transformer ASIC（應用型專用集成電路）晶片，Sohu的集成應用更是令人矚目。據測試，一台配備8塊Sohu晶片的服務器，其性能足以媲美160塊H100 GPU的集群。
具體而言，集成8塊Sohu晶片的服務器每秒能夠處理高達50萬的Llama 7B tokens，這一數據在業界堪稱前所未有。
而打造這款傑出晶片的Etched公司，位於美國加州的庫比蒂諾，盡管成立僅兩年，團隊規模也僅有35人，但其創始人-哈佛輟學生Gavin Uberti（前OctoML和前Xnor.ai員工）和Chris Zhu，與資深技術專家Robert Wachen和前賽普拉斯半導體公司首席技術官Mark Ross共同領導，已經成功研發出這款專為大模型AI設計的晶片，展現了其強大的技術實力和無限潛力。

更多其他精彩話題內容：
https://www.notion.so/7023b7b2cd5d4f5082c4aa7fb0fdcd1a?v=d4926f105c56473cbc55a3abe991aeac&pvs=4
https://scalloped-capybara-acc.notion.site/Health-Today-718e21949e6245e9b2e4d0acc93ed0e4