雷火电竞推理性能超H100十倍！21岁华裔小哥哈佛辍学开发AI加速芯片「Sohu」2人公司估值3400万刀
【新智元导读】最近，两位哈佛辍学生共同创立的AI芯片公司，估值已达3400万美元，并计划明年交付一款名为「Sohu」的AI推理加速芯片——其LLM推理性能达到H100的10倍，而单价吞吐量更是高达140倍。
两位哈佛退学的年轻人，想要制造一款专用于大语言模型加速的AI加速器芯片，将于2024年第三季度交付，推理性能达H100的10倍。
根据公司官网上放出的数据，这款芯片将在硬件层面上集成Transformer构架，将推理速度相比于英伟达H100提升了8-10倍!
他们将第一款LLM加速芯片命名为「Sohu」，号称可以在毫秒级别的时间里处理数千个单词。
根据官方公布的具体细节，这款芯片只有一个核心，但是配备了144GB的HBM3e显存:
两人原本计划从哈佛休学一年，在一家芯片公司找到了一份负责ApacheTVM开源编译器和微内核的工作。
但在工作中，他们发现Arm的指令集中的一些低效设计使得他们的工作效率很差。
当他们思考如何系统性地解决这个问题时，发现可以利用这个思路来设计一款针对当下爆火的AI加速芯片。
在创始人之一的Uberti看来，通用设计无法获得他们正在研发的专有加速芯片所能带来的那种性能提升:
「必须在单一架构上下大力气，让芯片处理AI任务，目标太大了，必须要针对更具体的任务来设计芯片......我们认为英伟达最终会这么做。」
「如果你回顾四年前的GPT-2，与Meta最近的 Llama模型相比，只有两个区别——大小和激活函数。训练方式存在差异，但这对于推理来说并不重要。」
Transformer的基本组件是固定的，虽然存在细微差别，但他们并不担心短期之内就会出现新的构架代替Transformer。
所以他们决定做一个Transformer构架的专用集成电路（ASIC），在未来和英伟达等一系列芯片巨头在大模型推理市场中竞争。
他们认为，Etched.ai推出的第一款芯片，相比于H100，单位价格内将获得140倍的吞吐量性能!
二到底是什么样的背景，能让两个本科还没有毕业的学生，敢于挑战芯片业目前最炙手可热的赛道呢?
在进入大学之前，他参与了美国最著名的青少年科技创新大赛FIRST Tech Challenge，团队获得了Top10奖项。团队开发的自动驾驶软件排在600个参赛团队第二名。
另一位创始人Chris Zhu，也是在哈佛就读时就在校外疯狂实习，甚至还没有从哈佛毕业，就已经成为兼职教员。
而英伟达和AMD这边，最近打得更是热火朝天，甚至连官方都直接下场写博客硬刚。
PPT显示，由8块MI300X组成的服务器在大模型推理方面的表现，要比同样规模的H100速度最高提升1.6倍之多。
英伟达表示，如果H100GPU使用了优化过的软件进行正确的基准测试，它的性能将大大超过MI300X。
作为回应，英伟达展示了采用TensorRT-LLM优化设置后，两款GPU在Llama270B上的比较结果。
可以看到，当批处理大小设置为1时，H100的性能达到了MI300X的2倍。
甚至，当采用与AMD相同的2.5秒延迟时，H100的性能可以达到MI300X的14倍之多。
1. 在同样采用vLLM FP16的设置时，相比于发布会上展示的1.4倍性能，AMD最新的优化已经让这一优势扩大到了2.1倍。
AMD指出，英伟达在H100上进行基准测试时使用的是自家专有的技术TensorRT-LLM，而非更广泛使用的vLLM。
此外，在延迟方面，英伟达只关注吞吐量的性能，却忽视了实际工作中的延迟问题。
最后，AMD表示，之所以选择使用FP16，是因为它非常流行，而且目前vLLM还不支持FP8。
数据中心的专用架构主要集中在DLRM（深度学习推荐模型），因为GPU很难加速这类任务。
Meta最近宣布已经构建了自己的DLRM推理芯片，并且已经得到广泛部署。
而Etched.ai要做的就是更近一步，在硬件层面完成这个设计，从而使得LLM的推理速度和能效都更上一层楼。
而投资人之所以愿意给两位本科辍学生投入如此之大的一笔钱，更重要的是迄今为止，所有人都认为现在LLM推理的成本过高，其中一定有创新的空间。
除了这样的明星初创公司以外，传统巨头对于大模型推理市场同样抱有很高的期待。
苏妈在各种场合不断表示，未来大模型推理市场的规模将远远大于模型训练市场。所以AMD也一直在强调自己的产品已经对这个市场做好了充分地准备。
从英伟达和AMD首次公开对比自家产品的性能这件事来看，GPU领域的竞争显然正在加剧。
目前，英伟达除了要面对AMD的挑战之外，还需要考虑英特尔和Cerebras取得的快速进展。
就在12月14日，首席执行官Pat Gelsinger展示了英特尔最新的AI芯片——采用5nm工艺制程，性能提升了1.5倍的Gaudi3。
相比于上一代Gaudi2，Gaudi3的BFloat16性能提升了4倍，计算能力提升2倍，显存容量提升50%达到144GB，并且采用的是HBM3或HBM3e。
鉴于竞争如此激烈，AMD可能会被诸如微软、Meta和甲骨文这些已经宣布将其技术集成到数据中心的公司，视为备选方案。
Gelsinger预测，到2027年，GPU市场规模将达到惊人的4000亿美元，这无疑为激烈的竞争提供了广阔的舞台。
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
微软推出了全新的NDH100v5虚拟机系列，该系列配备了最新的NVIDIAH100TensorCoreGPU和NVIDIAQuantum-2InfiniBand网络。雷火电竞平台 雷火电竞这款虚拟机具有AI超级计算GPU、新一代CPU、低延迟网络、优化主机到GPU的性能以及大规模的内存和内存带宽等特性，能够提供无与伦比的计算能力。大规模的内存和内存带宽:DDR5内存是该系列虚拟机的核心，提供更高的数据传输速度和效率，使它们成为处理大规模数据集工作负载的理想选择。
在当前技术发展的背景下，英特尔公司推出的ExtensionforTransformers工具包成为一个重要创新，实现了在CPU上对大型语言模型推理性能的显著加速。该工具包通过LLMRuntime技术，优化了内核，支持多种量化选择，提供更优的KV缓存访问和内存分配策略，使得首个token和下一个token的推理速度分别提升多达40倍和2.68倍。通过不断引入先进的技术和解决实际问题的能力，该工具包展现了英
《麦肯锡》最新文章强调，生成式人工智能在银行业具有巨大的潜在价值，全球范围内可为各产业每年增加2.6万亿至4.4万亿美元的价值。银行有望获得年度潜在利润达2000亿至3400亿美元，相当于运营利润的9%至15%。这些维度涵盖了银行在规模化genAI过程中需要关注的各个方面，是成功实现genAI潜在价值的关键要素。
在昨晚播出的央视《面对面》节目中，小米集团创始人、董事长、CEO雷军接受了央视记者的专访。智能电动汽车的本质是汽车工业和消费电子工业的整合。当被问及首款汽车的预期时，他表示“肯定有预期”，但汽车的确很复杂，特别担心一上来不火，大家都不买。
由于人工智能技术的进步，应用和网站利用其对女性照片进行“脱衣”操作的能力正在不断增加，研究人员发现，2023年9月，仅一个月内就有2400万人访问了这类网站，社交网络分析公司Graphika称。Graphika的数据显示，许多这些“脱衣”服务利用流行社交网络进行营销，自今年年初以来，在社交媒体上广告这些应用的链接数量增长了超过2400%，包括在X和Reddit等平台。一位TikTok代表拒绝置评，MetaPlatforms发言人也拒绝置评。
Nvidia最近一个季度的收入显著增长，主要归功于其数据中心产品的销售。公司年度总收入增长超过200%，在180亿美元的收益中，有145亿美元来自其数据中心产品。市场规模预计将在2027年翻倍，从目前的1000亿美元增长到将近2000亿美元的总收入。
【新智元导读】Inflection-2最新发布!性能碾压一众大厂模型，仅输一手GPT-4要集成到Pi?最近，InflectionAI发布了全新的一款AI模型。更炸裂的是InfectionAI对这款模型的评价——性能直超谷歌和Meta开发的两款模型，紧随OpenAI的GPT-4之后。真能充当心理咨询的角色呢。
快科技12月2日消息，腾讯QQ安全中心发布了《2023年第三季度QQ平台生态治理公告》。公告中称，2023年第三季度，平台累计处置违规账号403万个，并对色情低俗与网络戾气等违规内容开展专项行动、重点整治。1、严厉打击各类网络欺诈行为 竭力营造安全网络环境00平台通过打击违规账号及群聊禁止违规主体再次注册等方式，对欺诈相关账号、群聊实施阶梯式打击。2023年第三季度，平台累计处置超118万个违规账号与22.8万个群聊。2、从严治理色情低俗有害信息 持续排查阻断黑产链条不法分子通过发布色情低俗消息恶意攫取流量，并试图诱骗用户、为黑?
生物技术和人工智能初创公司Cradle成功融资2，400万美元，成就了其基于生成式方法的蛋白质设计平台。该公司在超过一年前走出隐匿状态，正值大型语言模型热潮兴起之际。在生物技术领域，这样的技术创新有望为公司及其合作伙伴带来长期的竞争优势，同时也为行业带来更高效、更经济的生物产品研发流程。
美国芯片初创公司EtchedAI近日宣称，他们成功开创了一项新的技术，将Transformer架构直接“烧录”到了芯片中，创造出了世界上最强大的专门用于Transformer推理的服务器Sohu。这项技术可以运行万亿参数的模型，甩英伟达几百条街。这一突破性技术的问世，将为Transformer架构的应用带来新的可能性。
Twig是为客户体验团队设计的AI辅助工具，可帮助团队更快地回复客户查询。它可以从帮助文档、私人数据源和过去的支持票据中读取、分析和撰写回复。Twig提供可靠的答案，并提供相关的可信来源。CX团队可以控制AI的回答，并根据需要添加自定义知识。Twig还提供多个AI角色，每个角色专注于特定的主题和CX角色。Twig简化了从第三方数据源中提取数据的过程，并可根据个人喜好进行个性化设置。Twig还提供有关AI使用情况和准确性的洞察，以帮助团队监控和改进AI的表现。
ZOYO是一款基于人工智能的房地产工具，为房产经纪人、房地产经纪公司、房主、室内设计师、建筑师和承包商提供前沿的AI技术支持。它包括AI虚拟装修、AI物品移除、AI图片放大等功能，帮助用户获得在房地产行业中的竞争优势。
Musho是一个网页设计辅助工具,可以通过简单的提示来自动生成美观大方的网页设计和配套文字,开发者只需要在此基础上进行定制和完善。它具有生成效果精美、开发友好、易于定制化的优点。该产品为网页设计提供设计模板,同时涵盖品牌、演示文稿、社交媒体等更多应用场景。
aisplash是一个提供免费AI生成图片和免版税图片的平台。用户可以搜索各类图片,也可以成为内容贡献者。网站使用OpenAI的DALL-E和Midjourney等算法生成图片。图片可免费用于商业用途。
GPT Movie Recommender是一款基于 GPT 技术的电影推荐工具，用户可以根据自己的喜好和需求输入影片类型和附加信息，然后获得个性化的电影推荐。该工具内置 GPT 技术，能够智能分析用户输入并给出相应的推荐，帮助用户更快地找到符合自己口味的电影。
HITWIT.AI是一个教育平台，提供10分钟高强度学习课程，结合多模态人工智能和元认知。用户可以从任何文档、视频或主题学习，并获得思维导图和图表，以及最佳间隔的测验来保持记忆。平台致力于帮助用户从人工智能中学习，让用户能够与人工智能进行对话交流，提供个性化的学习体验。用户可以选择自己感兴趣的学习内容，AI导师将与用户进行对话交流，找到并填补学习中的空白。此外，HITWIT.AI还提供FIT分数来衡量用户的学习进度，并提供长期记忆的最佳间隔重复测验。
SciPub+是一款AI驱动的学术写作助手平台。它提供10个写作助手,涵盖学术论文的各个环节,包括提纲、文献综述、方法与结果、介绍、结论等,辅助用户高效完成学术论文写作。其AI算法能自动生成推荐框架,协助克服写作障碍,减少不必要的重复改写。平台秉承学术界最佳实践,输出符合学术标准的高质量学术论文。
RingleDingle是一个提供自定义音乐贺卡服务的网站平台。用户可以自主设计贺卡图像,生成唯一的朗朗上口的歌曲,制作带音乐动画的电子贺卡。无需绘画技能,即可打造独一无二的音乐贺卡。
Deep Realms是一款 AI 驱动的故事创作平台，通过智能算法和大数据分析，帮助用户释放想象力，生成富有创意的故事。用户可以通过选择不同的故事元素和情节，让 AI 帮助编写出独特的故事内容。深域支持多种故事类型和风格，帮助用户轻松创作出精彩纷呈的故事作品。平台简洁易用，无需编程或写作技巧，适用于任何想要创作故事的人群。
GreenThumb Beta是一款园艺问题智能助手，能够回答与园艺相关的问题。它基于AI技术，提供快速准确的园艺知识解答。产品定位于为园艺爱好者提供便捷的问题解决方案。定价灵活，可根据用户需求提供不同的服务套餐。
Aspire Avatars是一款AI头像创作应用，提供高质量且价格实惠的头像包。用户只需用相机拍摄，即可快速创建逼真的头像，应用还提供不断更新的各种主题，满足用户不同的需求。无论是用于游戏、社交媒体、职业头像还是纯粹娱乐，头像都是用户探索数字世界的通行证。产品定位于提供高质量、真实、多样化的头像创作体验。用户可免费下载应用，也可通过应用内购买获取更多头像包。
这款应用是一款集成了GPT和文本转语音功能的AI助手，能够实现消息同步、自定义提示、文本转图像以及键盘扩展等功能。用户可以在iPhone、iPad和macOS设备上进行多设备同步使用，支持多语言，提供订阅服务。通过iCloud实现消息同步，支持Shortcuts和Siri，同时还集成了稳定扩散模型。用户还可以自定义对话内容和提示，并且通过键盘扩展功能在任何应用中快速使用AI。此外，用户还可以预览和拖动生成的图像至其他应用中。
AI Repurpose Video 是一款利用人工智能将长视频转换为短视频剪辑的工具，适用于 Reels、TikTok、YouTube 等社交媒体平台。通过 AI Repurpose Video，您可以在社交媒体上获得更高的用户参与度。该产品提供准确的说话者识别，确保剪辑后的视频保持上下文和连贯性，捕捉原始视频中每个声音的精髓。AI Repurpose Video 还提供多种时尚且可定制的字幕样式，让您的文字视觉上更具吸引力，与品牌或个人风格保持同步。此外，该产品还能自动识别最佳时刻，并为您的视频提供相关和引人注目的 B-roll 素材，让您的叙事更加出色。通过 AI 支持的字幕翻译，打破语言障碍，将您的内容传播到全球各地的观众。AI Repurpose Video 可将冗长的视频转换为适合社交媒体的短内容，一次创作，永久复用。
BetterLegal Assistant是一款基于AI的在线合同分析工具。它可以在几分钟内分析合同的关键条款,帮助用户理解合同的隐藏影响,避免盲目签署法律文件。该工具支持50多种语言,提供合同公平性评估、潜在负面影响、建议谈判要点等六大功能。定价仅需几美元,大大节省了昂贵的法律顾问费用。
Autonoma是一个AI驱动的代码文档生成工具。它可以自动为代码库生成文档,支持Confluence类似的界面。主要功能包括:自动生成代码注释和文档;文档实时更新;支持多种语言;导出多种格式文档等。
HyFluid是一种从稀疏多视角视频中推断流体密度和速度场的神经方法。与现有的神经动力学重建方法不同，HyFluid能够准确估计密度并揭示底层速度，克服了流体速度的固有视觉模糊性。该方法通过引入一组基于物理的损失来实现推断出物理上合理的速度场，同时处理流体速度的湍流性质，设计了一个混合神经速度表示，包括捕捉大部分无旋能量的基础神经速度场和模拟剩余湍流速度的涡粒子速度。该方法可用于各种围绕3D不可压缩流的学习和重建应用，包括流体再模拟和编辑、未来预测以及神经动态场景合成。
KORUS是一个革命性的动态数字收藏品,与知名唱片公司mau5trap合作,邀请了3位具有突破性的艺术家。用户可以体验独特的音乐AI带来的持续性内容和 DROP。
News Sentinel是一个利用AI从新闻和社交数据中发现隐藏的交易信号和风险洞见的工具。它可以为用户提供市场趋势的智能信号、重要事件的实时预警、新闻实时订阅、AI风险分析、Web3雷达等功能,帮助用户做出明智的投资决策,优化投资组合。
ClipDish 是一款革命性的食谱应用，将人工智能的魔力带到您的厨房中！通过 ClipDish，您可以保存没有视觉杂乱的食谱，还可以使用 AI 助手进行烹饪。与混乱的烹饪说再见，与 ClipDish 一起迎接简便、有序和烹饪技巧的新世界！ 主要功能： - 使用 AI 助手 Ask Chef 解答您的烹饪问题 - 清爽无干扰的食谱保存 - 简化的餐饮计划 - 设备间的同步 ClipDish 提供免费试用，订阅服务提供更多功能。
Pieces是一个使用AI来帮助开发人员管理代码片段、屏幕截图以及搜索和复用这些资源的工具。它提供代码协同编写功能,并集成了多种开发工具,使开发人员能够更高效地工作。
扫一扫关注微信公众帐号
