Groq的LPU澳门娱乐正规官方网站首页，能否颠覆英伟达的GPU？

　　起原：华尔街见闻 徐良辉

　　LPU虽好，但暂时难言“颠覆”。

　　AI昂扬还在合手续，“AI卖铲东谈主”英伟达遭受敌手Groq，后者靠着自研芯片LPU火遍酬酢收罗。

　　LPU最显赫的特质等于快——每秒生成简短500个tokens，而GPU每秒只可生成约40个tokens。

　　最近在酬酢媒体上，充斥着大齐Groq与其他AI系统的对比，但其中最为中枢的极少是：LPU能否颠覆英伟达GPU的霸主地位？

　　“性价比”身分难有定论

　　LPU能否颠覆GPU的要津就在于性价比，但这极少尚不行细目。

　　跟着AI热浪席卷，AI新创企业不仅难以取得GPU，何况本钱翻倍。困扰AI修复工程师的繁难，等于怎样尽可能低本钱取得普遍的GPU（比如英伟达的A100和H100芯片）。LPU的出现无疑是为AI修复者提供了一个新的选项。

　　从性能上看，横空出世的Groq宣称LPU芯片速率比GPU快10倍。

　　为什么LPU芯片速率能栽植这样多？Groq品牌和创意副总裁Mark Heaps证实称，LPU通过“软件优先的硬件不绝决议”，简化了数据的传输形势，而这种简化既表当今芯片上，还表当今芯片之间以致是扫数这个词收罗中。他补充说：

LPU不需要转机设施、CUDA库、内核等执行，但它不仅不错栽植性能，还不错改善修复东谈主员的体验。

皇冠hg86a

　　但从价钱上看，LPU与GPU价钱孰高孰低，引起了一些争议。华尔街见闻此前提到，原阿里时刻副总裁贾扬清发文分析，一张LPU卡仅有230MB的内存，且售价超2万好意思元，在开动Llama-2 70b模子时，需要305张Groq卡才富足，而用H100则只需要8张卡。这意味着在同等空洞量下，Groq的硬件本钱是H100的40倍，能耗本钱是10倍。

　　华为“天才少年”左鹏飞则暗示，Groq本钱价极度低，预测每卡本钱在1200好意思金足下。GPU的本钱大头则在HBM，但 Groq 平直丢掉了HBM，不错按 SRAM 的本钱价估算卡本钱。按1200好意思金/卡的本钱筹备，500张Groq卡的总本钱是60万好意思金。Groq公司拿这60万好意思金只可采购两台英伟达H100。

　　Heaps暗示，他们的芯片是基于14nm闇练工艺，容易获取且本钱便宜。同期，Heaps指出了LPU将来的发展标的：

咱们下一代居品是4nm芯片。

　　与GPU的适用场景分别

　　Heaps在比拟GPU与LPU时提到，采用GPU与LPU每每需要探究好多身分，比如使命负载和型号。Heaps称，在开动较小规模的硬件部署时，GPU系统确乎将很有上风：

但如若咱们驳倒的是使用大型言语模子，为洪水横流的用户提供事业的大型系统，咱们的数据显露LPU在功耗方面更有用果。

　　在Groq LPU推出之前，大模子的闇练和推理齐是基于英伟达GPU来筹办，选用沸腾的CUDA软件时刻栈，而LPU则是专为AI推理所筹办的芯片，在好多规模还未被大规模讹诈。

就在我出嫁当天的早上，一个令人震惊的消息传来：我的弟弟在外面遭遇了车祸，被卷入了一场严重的交通事故。我无法相信这是真的，我焦急地等待着消息的传来，担心着他的安危。直到婚礼进行的最后关头，我才接到了家人的电话，得知他虽然幸存，但却因为严重的脊椎损伤，被诊断为瘫痪。

各位，眼看着杭州亚运会马上就开始了！大家应该也感受到浓浓的运动氛围了吧？

　　Heaps证实说，昨年大齐新的LLM模子推出，需要芯片兼容闇练和推理，而往后则会有更分别化的需求，LPU就有了用武之地：

往日，东谈主们念念要一个像GPU这样的通用不绝决议，既不错用于闇练，也不错用于推理。

但当今，新兴商场迫使东谈主们追寻分别化，通用的不绝决议并不行很好地匡助他们终了宗旨。

　　风险请示及免责条目

　　商场有风险，投资需严慎。本文不组成个东谈主投资提议，也未探究到个别用户绝顶的投资宗旨、财务气象或需要。用户应试虑本文中的任何成见、不雅点或论断是否适合其特定气象。据此投资，拖累自得。

拖累剪辑：郭明煜 澳门娱乐正规官方网站首页

• 皇冠
• 信用
• 可以
• 哪里