侵权投诉

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

绕开CPU和内存,你浏览的内容或来自SSD的推荐

E4Life ? 来源:电子发烧友原创 ? 作者:Leland ? 2021-11-24 09:26 ? 次阅读
绕开CPU和内存,你浏览的内容或来自SSD的推荐

相信不少人都还记得今年AI芯片公司Esperanto发布的千核RISC-V处理器ET-SoC-1,随着这款7nm的芯片于第二季度成功流片返回后,Esperanto得以在芯片上运行代码,以及尝试新的应用方向,其中之一就是AI-SSD。在近期举办的三星Foundry活动上,Esperanto公开了自己AI-SSD的概念模型。

个性化推荐系统的挑战

在我们刷短视频、听歌和浏览社交网络时,一部分内容来自于我们已经关注的用户,但绝大多数来自于推荐系统的推送。推荐系统的准确程度很大程度决定了软件的用户体验,也是如今互联网经济系统的命脉。但这类推荐也往往是服务器上消耗最大的AI处理负载,优化推荐系统可以提高推荐系统的速度,减少在服务器上的成本。

DLRM深度学习推荐模型 / Meta

谈到推荐系统就不得不谈到嵌入,嵌入是当下推荐系统中关键的组成部分。尽管每家都有着不同的推荐模型,但或多或少都是采用查找嵌入表的方法来实现分类特征的处理。在这个过程中,嵌入表存储在DRAM中,而CPU对嵌入表进行操作,这就对内存带宽和内存容量提出了双重挑战。

在内存带宽上,像美团和腾讯等厂商纷纷采用多GPU加速的方式,充分利用GPU的带宽,但这种方式依然需要多个GPU或多个服务器的支持才能解决容量问题。固然厂商也可以选择像HBM这种大带宽的内存方案,但带来的成本提升也是巨大的。

根据Meta给出的说法,在Facebook社交网站的个性化推荐系统中,大规模的嵌入表可达到百万行以上,导致推荐模型的大小达到10GB左右,一个神经推荐模型中所有嵌入表甚至需要TB级别以上的空间。比如Meta旗下的Instagram已经在开发10TB的推荐模型,而百度的广告排名模型也达到了10TB。这种级别的容量需求对硬盘来说或许足够,但对于内存来说过于奢侈了。

因此为了解决容量问题,不少人也提出了SSD的存储解决方案,目前传统的SSD虽然可以毫不费力地存储下大规模推荐系统,但读取延迟和带宽都要更差一筹,从而显著降低推理的性能。

专为推荐而生的SSD

Esperanto与三星合作开发出了一种AI-SSD的概念模型,来研究将所有嵌入表处理全部移到SSD内部会有怎么样的影响,从而省去推荐系统中经过CPU和DRAM的环节。三星展示了使用Esperanto的ET-SoC-1芯片与其PM9A3 SSD结合的成果。

在AI-SSD中,所有嵌入表都被存储在SSD里,CPU负责所有的用户数据输入和深度神经网络,而SSD内部的ET-SoC-1负责嵌入表的查询和交互运算。此外由于选择了这种存内计算的方式,最小化了PCIe链路上的数据传输,降低了读写的高延迟,最终的分类数据直接交给CPU生成推荐结果。

AI-SSD带宽性能测试结果 / Esperanto

测试环节中,Esperanto选用了Meta的开源推荐模型DLRM,将AI-SSD与传统的CPU-SSD方式进行对比。在不同的模型配置下,AI-SSD实现了10到100倍的读取带宽提升,而且带宽随着使用核心数的上升还能继续线性提升。

要知道在这次测试中,Esperanto最多只用到了四个子节点(Minion Shire),每个节点只有32个核心。而一整个ET-SoC-1有34个子节点1088颗核心,如果所有计算单元全部用于SSD的话,提升幅度将达到数百倍以上,十分适合数据中心级别的SSD产品。而ET-SoC-1的扩展性也可以让它缩减核心数,用于一些边缘端的推荐系统。

拿计算换空间

不过即便用上了AI-SSD,这也是一种增加硬件成本的路线,除了不差钱的大公司会利用这种产品外,一些小的互联网应用可能并不会直接选择更换SSD的方式,如此一来,也就只有继续优化推荐模型一途。

佐治亚理工学院和Meta的研究院为DLRM提出了一种张量训练压缩的方式,名为TT-Rec。该方法通过将嵌入表分为多个小矩阵相乘的方式进行压缩,进一步降低嵌入表的大小,不过这多出来的计算是肯定躲不掉的额外消耗,好在其评估结果足够优秀。

在Kaggle和Terabyte数据集的测试训练下,TT-Rec分别将数据从2.16GB和12.57GB压缩至18.36MB和0.11GB,整体的大小压缩均在百倍以上,甚至可以做到几乎没有精度损失。而多出来的运算则反映到了训练时间上,分别增加了14.3%和13.9%。因此在实际使用中,必须对内存容量、模型精度和训练时间做出一定的取舍。

小结

尽管从推荐系统配置的角度来说,仍有不少可选的解决方案,但存算一体方面的研究已经全面铺开了。存储市场正在迅速与计算市场发生重叠,像三星、西数和希捷等存储厂商纷纷开始了这块的布局,传统的冯诺依曼架构也将被近数据处理替代。
收藏 人收藏

    评论

    相关推荐

    多款年货精选OLED电视促销大放送

    LGB1同时兼容G-SYNC和FREESYNC,拥有120Hz、VRR可变刷新率、ALLM自动低延迟....
    的头像 LGDisplay 发表于 01-25 19:14 ? 191次 阅读

    博联智能荣获“十大全屋智能家居品牌”

    近日,由千家智客联合千家品牌实验室共同举办的2021年度“中国智能建筑品牌奖“颁奖典礼在广州东方宾馆....
    的头像 BroadLink博联 发表于 01-25 18:05 ? 131次 阅读

    博联博联智能携手招商蛇口共建数智人居

    随着智能化在地产领域的渗透,全屋智能、智慧社区已经成为地产行业发展重要趋势。招商蛇口在智慧地产方面具....
    的头像 BroadLink博联 发表于 01-25 18:00 ? 133次 阅读

    维智科技入选《爱分析房企数字化厂商全景报告》

    近日,中国领先的产业数字化研究与咨询机构爱分析发布了《2021爱分析·房企数字化厂商全景报告》,并遴....
    的头像 WAYZ维智 发表于 01-25 17:32 ? 124次 阅读

    ARC智能网联汽车技术论坛即将举行

    ARC解决方案应用领域广泛,涉猎了从汽车、5G、物联网,到存储、AI、云等多个应用场景。
    的头像 新思科技 发表于 01-25 16:32 ? 214次 阅读

    人工智能治理未来发展趋势分析

    日前,人民智库与旷视AI治理研究院成立联合课题组,邀请中国人工智能产业发展联盟(AIIA)为课题支持....
    的头像 旷视MEGVII 发表于 01-25 16:05 ? 152次 阅读

    科技抗疫丨SENSORO疫情防控“漫入调查系统”提升流调效率

    连日来,国内多地报告新增病例,加上因春节临近导致的人员流动和聚集增加,基层防疫面临着比平时更大的挑战....
    的头像 升哲科技 发表于 01-25 16:03 ? 15次 阅读
    科技抗疫丨SENSORO疫情防控“漫入调查系统”提升流调效率

    Google Cloud 2022中国出海数字峰会

    企业出海,技术为舵,开发者作为出海企业技术舵手,需保持高度敏锐,持续修炼技能,确保企业出海动力稳定。....
    的头像 谷歌开发者 发表于 01-25 13:11 ? 191次 阅读

    朗科发布新一代PCIe 4.0SSD,专攻PCOEM高端市场

    近期,知名国产存储品牌朗科宣布推出新一代PCIe?4.0 SSD。据悉此次发布的SSD产品为NS1T....
    的头像 科讯视点 发表于 01-25 11:36 ? 85次 阅读
    朗科发布新一代PCIe 4.0SSD,专攻PCOEM高端市场

    微软推出“编程一小时”活动,为青少年打开计算机学科新世界

    小编说:“编程”对数字时代的我们来说并不陌生,如果将它与“青少年”这一蕴含着无限可能的群体联系到一起....
    的头像 微软科技 发表于 01-25 10:49 ? 143次 阅读

    华为云“城市一朵云”解决方案推进智慧城市建设

    华为在全国已经建设了超过600个项目,全国总计有150个直辖市、省会城市以及地级市和区县选择华为组建....
    的头像 华为 发表于 01-24 14:16 ? 424次 阅读

    易华录持续推动大数据技术创新应用

    为充分挖掘数据价值,深化数字技术与经济社会融合发展,安徽省亳州市数据资源管理局面向全国公开征集大数据....
    的头像 易华录 发表于 01-24 12:13 ? 182次 阅读

    无人驾驶企业中智行再获多项殊荣

    在由政府和权威媒体主办的2021年度评选活动中,全球领先的车路协同无人驾驶企业中智行近日再获多项殊荣....
    的头像 中智行ALLRIDE 发表于 01-24 10:55 ? 204次 阅读

    关于NVIDIA在线研讨会的详细内容

    了解一周的在线研讨会时间及详细内容,选择感兴趣的研讨会并提前安排收听时间;
    的头像 NVIDIA英伟达 发表于 01-24 10:33 ? 184次 阅读

    SSD铁人三项耐力赛:致钛PC005惊喜出圈

    前阵子在小破站上刷到一个关于固态硬盘耐久度的测试,耗时两个多月,品牌涉及之广,涵盖三星、长江存储致态....
    发表于 01-21 14:20 ? 33次 阅读
    SSD铁人三项耐力赛:致钛PC005惊喜出圈

    年末黑马致钛PC005,稳定耐久的高品质SSD

    近年来,固态硬盘几乎成为了攒机用户首选的存储硬件,价格不断走低的亲民化趋向,使得越来越多的用户直接考....
    发表于 01-21 14:18 ? 20次 阅读
    年末黑马致钛PC005,稳定耐久的高品质SSD

    瑞为技术斩获“2021年度最佳人工智能公司TOP30”

    近日,备受业内瞩目的机器之心「AI中国」2021年度评选榜单正式揭晓。瑞为技术凭借深耕多年的图像感知....
    的头像 瑞为技术Reconova 发表于 01-21 14:14 ? 529次 阅读

    2022年黑鲨游戏手机能带来哪些惊喜

    高朋满座话未来已经步入第5年。2022伊始,我们再一次走访国内领先的终端厂商,与大家的老朋友们深入对....
    的头像 Qualcomm中国 发表于 01-21 12:47 ? 569次 阅读

    NVIDIA在线研讨会亮点前瞻

    DeepStream SDK 作为 IVA 智能视频分析工具集,为利用 AI 和机器视觉方法处理和分....
    的头像 NVIDIA英伟达企业解决方案 发表于 01-21 09:55 ? 256次 阅读

    NVIDIA出席第十五届深圳国际金融科技博览会

    第十五届深圳国际金融科技博览会(“简称金博会”)在深圳会展中心1号馆举行。 众所周知,在金融行业,现....
    的头像 NVIDIA英伟达企业解决方案 发表于 01-21 09:31 ? 1024次 阅读

    智慧校园安装人脸识别门禁的好处都有哪些

    校园这个场所的人员流动性较大,主要涉及对象为学生和学校教职工。而大部分学校是以视频监控的方式来预防保....
    发表于 01-20 17:36 ? 17次 阅读

    易华录亮相第十六届中国智能交通年会

    第十六届中国智能交通年会(ITSAC 2021)暨2021中国智能交通大会在湖南长沙举行。本次活动由....
    的头像 易华录 发表于 01-20 16:35 ? 367次 阅读

    易华录超级智能存储概述/结构/特点/应用

    为加快推广应用先进适用节能技术、装备和产品,推动工业和信息化领域节能和能效提升,助力实现碳达峰、碳中....
    的头像 易华录 发表于 01-20 16:18 ? 281次 阅读

    小区电梯智能识别阻车系统的简单介绍

    电动车禁入电梯,电梯智能识别阻车系统 如何科学有效地防止电动车进电梯?答案就是,通过基于人工智能技术....
    发表于 01-20 14:00 ? 47次 阅读

    一清创新荣获“最佳自动驾驶园区商用奖”

    「雷锋网2021最佳AI数智化年度榜」评选活动成功举办,一清创新荣获“最佳自动驾驶园区商用奖”,一清....
    的头像 一清创新UDI 发表于 01-20 12:02 ? 1283次 阅读

    工业大数据加速融合AI向数据智能发展

    近期,由中国科学院《互联网周刊》、德本咨询、eNet研究院联合发布了“2021数字经济创新企业100....
    的头像 机智云物联网 发表于 01-20 10:58 ? 496次 阅读

    如何建立真正的数据目录

    作者简介:王积杰目前担任IBM数据与AI产品线大中华区信息架构产品总监,对AI和信息架构有深刻的理解....
    的头像 IBM中国 发表于 01-20 10:22 ? 248次 阅读

    2022年半导体行业十大发展趋势

    导语:随着光、温度、压力、磁场、电场等环境因素的变化,导电性会发生相当大的变化,这是半导体主要特性之....
    的头像 华秋商城 发表于 01-20 09:50 ? 640次 阅读

    对话艾拉物联全球终端形象设计官 探寻划时代智慧空间2.0秘境

    Ayla Home,作为Ayla艾拉物联在实现“云边端”一体化基础上创建的智能家居品牌,旨在成为全球....
    发表于 01-19 17:26 ? 17次 阅读
    对话艾拉物联全球终端形象设计官 探寻划时代智慧空间2.0秘境

    日产汽车将开展使用AI技术为电动汽车充电的实验

    电子发烧友网报道(文/李弯弯)据外媒报道,日产汽车1月12日宣布,公司将开展使用AI技术为电动汽车充....
    的头像 电子发烧友网 发表于 01-19 17:05 ? 400次 阅读

    我国集成电路进出口逆差进一步扩大

    电子发烧友网报道(文/吴子鹏)前不久,工信部发布了《2021年1-11月份电子信息制造业运行情况》,....
    的头像 电子发烧友网 发表于 01-19 17:01 ? 384次 阅读

    AI+安防市场规模将超900亿,各细分场景迎新机

    当下,随着行业智能化发展加快,安防边界愈发模糊,AI场景化需求持续落地。AI+安防作为人工智能技术的....
    发表于 01-19 14:55 ? 425次 阅读

    所托瑞安亮相2021第二届全球保险科技大会

    日前,由金融界、天津港保税区联合举办的2021第二届全球保险科技大会暨“燕梳奖”年度评选活动隆重召开....
    的头像 智能防撞所托瑞安 发表于 01-19 13:32 ? 334次 阅读

    长电科技SCK荣获澜起科技 “2021年最佳供应商”奖

    2022年1月19日,中国上海 ---近日,全球领先的集成电路制造和技术服务提供商长电科技子公司星科....
    发表于 01-19 12:09 ? 53次 阅读
    长电科技SCK荣获澜起科技 “2021年最佳供应商”奖

    小马智行与一汽(南京)达成战略合作

    在自动驾驶技术应用落地的关键领域,小马智行再迎重量级合作伙伴。小马智行宣布与战略投资方中国一汽的全资....
    的头像 Pony.ai小马智行 发表于 01-19 12:05 ? 409次 阅读

    阿尔法蛋AI词典笔X10助力解决家长辅导难题

    “双减”政策推出,个性化教育时代来临,孩子如何培养?家长们也是绞尽脑汁,希望能为孩子在学习的道路上提....
    发表于 01-19 10:43 ? 17次 阅读

    来也科技RPA+AI加速智能化

    在数字化、自动化、智能化等技术浪潮的推进下,众多企业纷纷开始考虑转型、升级。在此趋势下,中交第二航务....
    的头像 话说科技 发表于 01-19 09:22 ? 553次 阅读

    巧思人工智能宫颈细胞学辅助筛查系统助力精准医疗

    在刚刚结束的广东省病理年会医学会病理学学术年会上,深思考作为深耕于“AI+医疗”领域的高新技术企业,....
    的头像 旷视MEGVII 发表于 01-19 08:47 ? 927次 阅读

    耐能亮相第十八届中国国际社会公共安全博览会

    第十八届中国(深圳)国际社会公共安全博览会(以下简称“深圳安博会”)在深圳福田会展中心如火如荼的举行....
    的头像 Kneron耐能 发表于 01-18 17:46 ? 422次 阅读

    英特尔启动AI百佳创新激励计划

    作为未来最重要的赋能技术,人工智能正在加速与各行各业融合,不断释放数字经济的实力。为了推动人工智能行....
    的头像 英特尔中国 发表于 01-18 15:27 ? 618次 阅读

    日产开展AI技术研究,或让汽车充电跟加油一样快!

    电子发烧友网报道(文/李弯弯)据外媒报道,日产汽车1月12日宣布,公司将开展使用AI技术为电动汽车充....
    的头像 Carol Li 发表于 01-18 09:29 ? 1920次 阅读
    日产开展AI技术研究,或让汽车充电跟加油一样快!

    2021的科技卦象·坎·全球缺芯洪水,中国造桥寻路

    过去一年里,全球缺芯焦虑,从汽车、电子消费等重点行业,演变成为一场覆盖上下游产业链、波及全球消费者的....
    的头像 脑极体 发表于 01-18 09:04 ? 2921次 阅读

    维智科技亮相WIM2021世界创新者年会

    由亿欧主办的「数字重塑世界」WIM2021 世界创新者年会在上海圆满落幕,并揭晓了年度重磅World....
    的头像 WAYZ维智 发表于 01-17 17:21 ? 474次 阅读

    维智科技荣获“年度人工智能创新产品”大奖

    2021中国数字化年会启幕,维智“Phy-gital飞吉特时空智能平台” 凭借顶尖时空AI技术的落地....
    的头像 WAYZ维智 发表于 01-17 17:18 ? 481次 阅读

    摩尔线程与同方计算机携手共同打造数智化算力底座

    近日,摩尔线程智能科技(北京)有限责任公司(简称:摩尔线程)与同方计算机有限公司(简称:同方计算机)....
    发表于 01-17 16:58 ? 31次 阅读

    AI芯片行业需求全面爆发 爱芯元智再获A++轮8亿元融资加速产业布局

     近日,AI视觉芯片研发及基础算力平台公司爱芯元智——宣布完成A++轮融资,该轮总金额为8亿元人民币....
    发表于 01-17 14:27 ? 161次 阅读
    AI芯片行业需求全面爆发 爱芯元智再获A++轮8亿元融资加速产业布局

    基于ToF传感器的3D手势识别解决方案

    ????????手势识别是计算机科学和语言技术领域的一个研究课题,其目的是通过数学算法解析人类手势。....
    的头像 意法半导体中国 发表于 01-17 14:17 ? 413次 阅读

    MAXIPILOT1.0智能巡航系统底层自研端到端解决方案

    全球出行产业变革蕴藏的巨大市场空间,归因于全人类对于交通出行的共性价值追求。
    的头像 智驾科技MAXIEYE 发表于 01-17 13:33 ? 1788次 阅读

    智驾科技MAXIEYE加速推进自动驾驶逐级落地

    由铅笔道主办的2021?真榜——中国最具价值创新企业颁奖盛典在北京召开,会议宣布2021真榜获奖企业....
    的头像 智驾科技MAXIEYE 发表于 01-17 12:49 ? 1706次 阅读

    云天励飞的隐私保护和信息安全能力已达到国际标准

    近日,云天励飞再次顺利通过国际权威认证机构BSI(British Standards Institu....
    的头像 云天励飞 发表于 01-17 12:25 ? 301次 阅读

    请问下SSD支持什么协议

    OKMX8MQ-C开发板,当前需要外挂SSD. 硬件手册有说明: 一路PCIE Gen2通过M.2 M-Key引出; 支持外接SS...
    发表于 01-14 08:05 ? 202次 阅读

    怎样去解决IMX6Q板子连接SATA掉电的问题呢

    Hi, 目前使用IMX6Q 板子, 連接板端 SATA 電源 與 SATA port,  使用 1T 容量以上的SSD 盤片, 讀寫時發...
    发表于 01-07 06:39 ? 0次 阅读

    请问OKMX8MQ-C支持什么协议的SSD?

    OKMX8MQ-C开发板,当前需要外挂SSD. 硬件手册有说明: 一路PCIE Gen2通过M.2 M-Key引出; 支持外接S...
    发表于 12-30 07:39 ? 0次 阅读

    PCIe 4.0 SSD尚未起飞,就要迎战速度翻倍的5.0

    不久前,存储厂商才纷纷投入PCIe 4.0 SSD的阵营,而下一代PCIe 5.0却已悄然而至。消费级市场英特尔率先支持了PCIe 5...
    发表于 12-11 08:00 ? 101次 阅读

    DCPMM的相关资料推荐

    Intel Optane DC Persistent Memory Module (PMM)持久内存英特尔已经公开讨论了一年多的Optane DC Persistent Me...
    发表于 11-17 08:03 ? 0次 阅读

    开放通道SSD有何作用

    开放通道SSD是什么意思? 开放通道SSD有何作用? ...
    发表于 11-09 06:27 ? 0次 阅读

    使用M1芯片的MacBook带来的最大改变是什么

    使用M1芯片的MacBook带来的最大改变是什么?有哪些好处?...
    发表于 10-21 07:50 ? 404次 阅读

    基于NAND的SSD是由哪些部分组成的

    SSD是什么? 基于NAND的SSD是由哪些部分组成的?...
    发表于 10-19 08:07 ? 0次 阅读

    SSD与HDD的区别

    存储市场上一直存在固态硬盘(SSD)和机械硬盘(HDD)的竞争。论综合性能,SSD远高于HDD,是大家选购存储设备时的理想选...
    发表于 09-13 08:24 ? 101次 阅读

    SSD固态硬盘坏掉前有什么征兆呢

    随着SSD的流行,如今很多用户的电脑都用上了速度更快的固态硬盘。现在问题来了,固态硬盘容易坏吗?SSD固态硬盘坏掉前有什...
    发表于 09-08 07:18 ? 101次 阅读
    她的小梨涡完整版免费阅读