您现在的位置是:休闲 >>正文
AMD X3D搞AI居然比打游戏还猛!8核暴打16核 领先达88%
休闲87284人已围观
简介据GiggleHD实际测试,AMD X3D处理器在RAG检索增强生成)AI基准测试中展现出远超预期的性能表现,最高领先非X3D芯片达88%。RAG AI通过外部向量数据库检索信息来增强大模型的回答质量 ...
据GiggleHD实际测试,比打AMD X3D处理器在RAG(检索增强生成)AI基准测试中展现出远超预期的游戏性能表现,最高领先非X3D芯片达88%。还猛核暴
RAG AI通过外部向量数据库检索信息来增强大模型的打核达回答质量,与纯LLM推理不同,领先向量搜索的比打大量计算负载落在CPU而非GPU上。
随着Agentic AI工作负载的游戏推进,搜索驱动的还猛核暴任务流越来越多,CPU的打核达延迟瓶颈问题日益突出。
HNSW(分层可导航小世界)搜索算法就是领先典型例子,在GPU执行LLM推理的比打同时,CPU负责图检索,游戏更大的还猛核暴缓存意味着更短的检索时间。
GiggleHD使用开源的打核达X3D RAG基准测试,针对个人PC和小团队单节点场景(约100K-200K向量),领先对AMD锐龙9000X3D系列及多款非X3D芯片进行了实测。


结果显示,在100K向量批量搜索中,X3D CPU最高比非X3D芯片快88%;在200K向量测试中,同为8核的锐龙7 9850X3D比锐龙7 9700X快50%以上,且8核X3D芯片的速度超过了16核的锐龙9 9950X。


索引构建方面,100K向量测试时间缩短50%,200K向量缩短39%,并发RAG吞吐量同样由X3D芯片领跑。


差距较小的项目是TTFT(首Token时间)吞吐量,因为该任务主要依赖GPU而非CPU。

Tags:
相关文章
工信部发文:坚决禁止新增产能 严禁产能置换,行业资讯
休闲8月13日,工业和信息化部办公厅国家发改改变委办公厅发布《关于严禁产能置换严禁水泥平板玻璃行业新增产能的通知》,《通知》称近年来,各地区和有关方面认真贯彻落实党中点、国务院关于化解过剩产能的决策部署, ...
【休闲】
阅读更多一季度全省“五个一批”综合考评 泉州位居第二
休闲22日,一季度全省“五个一批” 即谋划一批、签约一批、开工一批、投产一批、增资一批)正向激励综合考评结果出炉,泉州市位居设区市第二名,惠安含台商投资区)、石狮、泉港进入全省县市 ...
【休闲】
阅读更多启巧剥皮软糖,爽口酸甜!抢跑休闲食品新赛道,火爆招商中!
休闲发布者:小宁 浏览量:5848发布时间:2023/6/8 16:09:41 休闲食品市场体量巨大,品牌众多,竞争激烈,如何在众多品牌中脱颖而出,成为引爆市场的畅销品牌?关键在 ...
【休闲】
阅读更多