比特派钱包官网安卓app下载|mlc

固态硬盘颗粒：SLC/MLC/TLC有什么区别？ - 知乎

固态硬盘颗粒：SLC/MLC/TLC有什么区别？ - 知乎首页知乎知学堂发现等你来答​切换模式登录/注册硬件固态硬盘硬盘固态硬盘颗粒：SLC/MLC/TLC有什么区别？今天说到SSD，不同颗粒之间有什么分别到底？ 9月买了个浦科特128G的SSD，379 后来发现了个东芝240G的SSD 才420 差几十块多一倍容量…显示全部 ​关注者605被浏览2,284,919关注问题​写回答​邀请回答​好问题 39​2 条评论​分享​30 个回答默认排序雷诺Renault 紫毛​ 关注这图实在是太合适了，太太太太太合适了。答主还说了一个消费级tlc和mlc ssd的问题。的确，这几年来tlc的ssd越来越多了，但这是有原因的，最大的原因是cache越来越普及，cache越来越大，绝大多数tlc ssd跑完cache马上就原形毕露，掉速一半甚至三分之二的都大有人在。但是作为在pc上使用的ssd，很少有人没事就写20G大文件进去，cache完全可以让tlc ssd的速度蒙混过关，哪怕qlc，也能表现的可以让人接受，速度靠cache，用完就萎了，这是现在tlc ssd的通病，而不管是之前还是现在的mlc ssd，这个问题都不严重。成本使然，让用户看起来速度差不多，其实是一种无形的缩水。编辑于 2018-12-31 03:53​赞同 994​​101 条评论​分享​收藏​喜欢收起​AnnaComnena皇帝万岁万岁万万岁！​ 关注其实芯片本身的区别都可以百度到，原理寿命什么的都有，这里我做一些补充其实现在并没有所谓原生slc的东西。一般而言，英特尔美光造出来一个闪存芯片，mlc，32g，那么可以让他在slc模式下工作，就是一片16g slc。同理，三星造了一片多层tlc，那么他可以是tlc，比如你见到的cm871，850EVO。可以是mlc，比如950pro。可以是slc，比如各个SSD中用来做slc模拟的那部分。另外对于现在多数的SSD而言，其屌炸天的性能是靠模拟slc而来的，不同的盘，其slc cache大小也不同。这个技术是把一部分闪存放在slc模式下，此时对这一部分闪存的读写可以达到很高的性能。去掉slc模拟之后，不同的mlc速度不同，约为接近slc盘到slc盘的一半之间，制程越先进起寿命和速度越差。tlc就不说了，性能就再折一次。掉速问题，是闪存固有的毛病。越差的片和主控掉速越明显，当然垃圾回收策略也是一个问题。就算25nm slc片用老旧的sf2281主控他掉速也是杠杠的。寿命上，其实很多三星tlc的1K次覆写也够一般人用了，5 6年之后寿命到那之前早就换新了。SSD几乎不怎么存在寿命问题。主流消费者更应考虑数据的稳定性问题，比如mlc可能有的家的闪存就用的好些，tlc有的是多层40nm的有的是单层19nm的，此时应该选40nm的。寿命与稳定性问题更多见于U盘这种小容量的东西。例如我有个slc U盘，大文件读写200m每秒，很快很稳定，也不用担心数据放几个月会蒸发。然而有次用别人的tlc盘拷东西，大小都没变却打不开了，计算一下md5一个都对不上。很多低价tlc U盘都存在数据稳定性不过关的问题，尤其是体质差的黑片tlc盘。编辑于 2016-07-23 17:02​赞同 114​​23 条评论​分享​收藏​喜欢

如何评价新的神经网络训练方法MLC? - 知乎

如何评价新的神经网络训练方法MLC? - 知乎首页知乎知学堂发现等你来答​切换模式登录/注册机器学习神经网络深度学习（Deep Learning）神经网络算法如何评价新的神经网络训练方法MLC?https://www.nature.com/articles/s41586-023-06668-3显示全部 ​关注者58被浏览53,809关注问题​写回答​邀请回答​好问题​添加评论​分享​6 个回答默认排序知乎用户看到nature我是奇怪的，看到标题Meta Learning我是想关闭页面的，看到摘要第一句human language and thought我是想ACL的，看到第二句话models of the mind我彻底失去耐心，看到这个主要图：我选择把他扔进标着Chelsea Finn的垃圾桶。发布于 2023-10-27 10:26​赞同 53​​12 条评论​分享​收藏​喜欢收起​知乎用户jane wang的meta learning是18年的，那个时候看确实惊为天人。可是现在是23年了……估计是加班加点搞出来的，1月收到的，3月做出来估计就送不了审了，5月做出来nips都不要了……编辑于 2023-10-27 11:08​赞同 6​​添加评论​分享​收藏​喜欢

请稍候

请稍候

BOSS

正在加载中...

一篇文章告诉你SLC、MLC、TLC和QLC究竟有啥区别? - 知乎

一篇文章告诉你SLC、MLC、TLC和QLC究竟有啥区别? - 知乎切换模式写文章登录/注册一篇文章告诉你SLC、MLC、TLC和QLC究竟有啥区别?蜂芒提供互联网技术、计算机软硬件及外围设备、游戏产品服务之前Ci妹给大家测评了三星的QLC硬盘860 QVO 1TB。那大家知道QLC颗粒是什么？有什么优势么？说起来，存储单元是硬盘的核心元件，选择SSD实际上就是在选择存储颗粒。那SLC、MLC、TLC和QLC这几种存储颗粒究竟存在什么区别呢？Ci妹这就来告诉大家。由于闪存颗粒中存储密度存在差异，所以闪存又分为SLC、MLC、TLC和QLC。简单的说，NAND闪存的基本原理，QLC容量大，但性能也变差了。SLC：每个Cell单元存储1bit信息，也就是只有0、1两种电压变化，结构简单，电压控制也快速，反映出来的特点就是寿命长，性能强，P/E寿命在1万到10万次之间，但缺点就是容量低而成本高，毕竟一个Cell单元只能存储1bit信息。MLC：每个cell单元存储2bit信息，需要更复杂的电压控制，有00,01,10,11四种变化，这也意味着写入性能、可靠性能降低了。其P/E寿命根据不同制程在3000-5000次不等。TLC：每个cell单元存储3bit信息，电压从000到001有8种变化，容量比MLC再次增加1/3，成本更低，但是架构更复杂，P/E编程时间长，写入速度慢，P/E寿命也降至1000-3000次，部分情况会更低。寿命短只是相对而言的，通常来讲，经过重度测试的TLC颗粒正常使用5年以上是没有问题的。QLC或者可以叫4bit MLC，电压有16种变化，但是容量能增加33%，就是写入性能、P/E寿命与TLC相比会进一步降低。具体的性能测试上，美光有做过实验。读取速度方面，SATA接口中的二者都可以达到540MB/S，QLC表现差在写入速度上，因为其P/E编程时间就比MLC、TLC更长，速度更慢，连续写入速度从520MB/s降至360MB/s，随机性能更是从9500 IOPS降至5000 IOPS，损失将近一半。Ci妹举个栗子：我们假设1bit的数据是一辆小汽车，那NAND闪存就是几种不同类型的停车场。SLC闪存的停车场一次只能停一辆车，这辆车来去自如，效率很高，也不容易出现错误，但由于停车场的使用效率不高，所以寿命长，成本相对较高。MLC一次可以停放两辆车，这就需要调度，速度就会稍慢，但空间使用率提高了，所以寿命也会变短一点。TLC属于三辆车可以同时停在同一个停车场，车辆进出的调度也就更复杂，速度稍慢，容易出现错误。因为多次使用，寿命就更短。QLC是一次可以停放4辆车，同理，能停放的车辆多了，成本自然是降下来了，不过寿命也会相应减短。虽然可靠性会有降低，但是随着NAND技术的进步，P/E寿命是会提升的，之前TLC已经得到验证，相信QLC也会如此。所以QLC若是大规模量产，那SSD的写入速度将可达到200-300MB/s左右，而且5000+的随机写入性能依然高于HDD硬盘，容量也可达到10-100TB的数量级。目前市面上能自主生产颗粒的厂家有：三星、现代、美光、东芝，目前几乎所有正规SSD使用的都是这几家合格的原厂颗粒。至于主控呢，我们下次再说~下面是Ci妹的广告时间，问：如何买到保质保量的原厂正规硬盘？发布于 2018-12-28 18:13闪存（NAND）硬盘固态硬盘​赞同 165​​14 条评论​分享​喜欢​收藏​申请

Access Denied

Access Denied

Access Denied

You don't have permission to access "http://www.intel.cn/content/www/cn/zh/download/736633/intel-memory-latency-checker-intel-mlc.html" on this server.

Reference #18.f4231c78.1709812562.3a679d26

固态硬盘颗粒：SLC/MLC/TLC有什么区别？ - 知乎

固态硬盘颗粒：SLC/MLC/TLC有什么区别？ - 知乎首页知乎知学堂发现等你来答​切换模式登录/注册硬件固态硬盘硬盘固态硬盘颗粒：SLC/MLC/TLC有什么区别？今天说到SSD，不同颗粒之间有什么分别到底？ 9月买了个浦科特128G的SSD，379 后来发现了个东芝240G的SSD 才420 差几十块多一倍容量…显示全部 ​关注者605被浏览2,284,919关注问题​写回答​邀请回答​好问题 39​2 条评论​分享​30 个回答按时间排序怼穿墙y​ 关注EX系列工业级SATA M.2、mSATA、2.5英寸固态硬盘和CFast卡具有超强的数据保持力和超高耐久性中国，北京和美国，硅谷 – 2019年8月28日 – 绿芯开始向需要在严苛环境下操作，并且要求超强数据保存和超高可擦写次数存储方案的客户提供其高可靠SATA 6Gb/s ArmourDrive™系列产品。SATA ArmourDrive EX系列固态硬盘采用绿芯专有的EnduroSLC™技术，可实现5万次、10万次及业界领先的25万次擦写耐久性以及超强的数据保持能力。采用EnduroSLC的固态硬盘可在极宽广的温度下操作，仍维持其超强的数据保存能力。新推出的工业级温度 (-40°C 至 +85°C) 每单元1比特的EnduroSLC ArmourDrive产品包括:SATA M.2 EX 系列(2242: 8GB-128GB / 2280: 8GB-256GB)mSATA EX 系列(8GB-128GB)SATA 2.5” EX 系列(16GB-256GB)新推出的SATA ArmourDrive EX系列丰富了绿芯EnduroSLC产品种类。采用EnduroSLC技术的产品还包括SATA 6Gb / s接口和100球/ 153球eMMC 接口的NANDrive™球栅阵列（BGA）固态硬盘。Objective Analysis首席分析师Jim Handy指出："因为现在的NAND闪存市场高度关注消费类应用，需要能在宽温环境下操作并具有超高耐久性和超强数据保持的固态硬盘和存储卡产品的用户其选择非常有限，绿芯的EnduroSLC产品在这些用户中应该会备受欢迎。"供货情况绿芯正在为主要用户提供5万、10万和25万擦写次数的ArmourDrive EX系列产品样品，预计将于2019年第四季度开始批量出货。基于3D MLC NAND的ArmourDrive MX系列固态硬盘也预计于2019年第四季度初开始提供样品，并于2019年第四季度中批量出货。IC China展会绿芯将于9月3日至5日在上海新国际博览中心举办的IC China 2019展会上展示其ArmourDrive EX系列产品阵容。绿芯的eMMC、SATA和PATA BGA NANDrive固态硬盘，ArmourDrive MX和PX系列以及企业级固态硬盘也将展出。IC China与会嘉宾可在N4-023A展台与绿芯技术专家会面，了解这些产品以及讨论如何支持各种数据存储的要求。关于EnduroSLC™技术EnduroSLC是绿芯开发的专有3D NAND管理技术，适用于严苛的工作环境下需要超长的数据保存时间和超高耐久性的高可靠性应用。凭借先进的硬件ECC功能和NAND管理算法，EnduroSLC技术可显著提升基于SLC（每单元1比特）NAND固态硬盘的擦写耐久性，从而达到业界领先的25万以上的擦写次数。支持EnduroSLC技术的固态硬盘可在复杂的温度条件下实现超强的数据保存能力，例如在高度交叉温度范围内的数据写入和读取。此外，由于其极低的误码率，EnduroSLC固态硬盘在整个产品的生命周期内提供了更好的读/写性能一致性。关于绿芯 基于超过25年的固态存储设计经验，绿芯致力于为嵌入式系统和企业级数据中心开发耐久、可靠和安全的存储解决方案。公司中国总部设在北京，全球总部设在美国硅谷，并在硅谷，北京，上海，厦门和新竹设有产品研发中心。最新内容可联系本up主发布于 2024-02-05 18:20​赞同​​添加评论​分享​收藏​喜欢收起​知乎用户市场上固态硬盘绝大部分采用MLC或TLC的闪存颗粒，MLC与TLC其实是存储单元的分类。MLC耐用性强、速度较快但价格较高，TLC耐用性与速度一般不过价格便宜。随着控制芯片技术的进步，现在TLC的固态硬盘足够用户正常使用，性价比高。对于经常修图剪辑的用户，采用MLC颗粒的固态硬盘更为可靠。发布于 2023-06-27 21:32​赞同​​添加评论​分享​收藏​喜欢收起​3 个回答被折叠（为什

买一块少一块！只钟爱MLC固态硬盘？带你盘点一下现在能买到的MLC - 哔哩哔哩

关注专栏/买一块少一块！只钟爱MLC固态硬盘？带你盘点一下现在能买到的MLC买一块少一块！只钟爱MLC固态硬盘？带你盘点一下现在能买到的MLC

2021年06月12日 03:30--浏览 ·

--喜欢 ·

--评论

SasugaSetsuna粉丝：1.0万文章：1837

关注当下，如果你让我盘点一下TLC的SSD，我只能说“敬谢不敏”，太多了没有盘点的价值，但是盘点MLC就简单多了（大概？），所以大家可以如此判断——除了少数的MLC/SLC/QLC之外都是TLC。首先给大家盘点一下现在市售的靠谱的SLC SSD——三星983ZET、三星SZ985，没了。正文：虽然现在的大容量TLC已经有不逊于MLC的性能和寿命，成为SSD领域的中流砥柱，但是一些情况下同容量下MLC的各方面还是占优势，而且很多人还是抱着“非MLC不买”的心态来选购SSD（可能是“洁癖”），既然如此那我就来搜罗一些MLC SSD的情报，你们自己来看是否值得购买。三星860PRO2.5'SATA/三星MJX主控/三星64L 3D MLC/带DRAM/零售三星970PROm.2 2280 PCIe3.0x4 NVMe/三星Phoenix主控/三星64L 3D MLC/带DRAM/零售这两款是目前少数有全新产品市售的MLC SSD，当然价格也贵得有些离谱，基本上就是用SLC的价格卖MLC，没办法，物以稀为贵。但是性能表现是值得肯定的，MLC即使容量不大也不用SLC Cache（三星的MLC的优良传统），970PRO 1TB直写2700，比一些盘的SLC Cache内还快。不过闲鱼上860PRO的假盘实在是太多了，千万别买！三星sm961m.2 2280 PCIe3.0x4 NVMe/三星Polaris主控/三星2D MLC或48L 3D MLC/带DRAM/OEM这是能在淘宝买到的盘，OEM产品（保修就别想太多了，祈祷自己能找到一个靠谱的店家吧），速度还行，我的256G的写入大概1400MB/s左右（读3000），虽然似乎已经比不上我的另一个TLC盘，但是MLC胜在稳定（大概？）。可惜的就是现在已经很难找到全新的sm961了，即使是疑似清零的盘卖得也比较贵，不如狠狠心加钱970PRO。256GB的已经没有什么价值购买了，我现在感觉它装个系统都有些紧张，而且256GB的sm961还是2D MLC，寿命可能不如3D，3年、我写入了9TB，健康度掉了2%。总之，不如买大容量的TLC。还是那句话，警惕清零盘。三星960PROm.2 2280 PCIe3.0x4 NVMe/三星Polaris主控/三星48L 3D MLC/带DRAM/零售只有二手，虽然是零售产品，但基本上都过保了，价格却不便宜，唯一的优势就是有2TB版本（970PRO最大只有1TB）。三星sm963m.2 22110 PCIe3.0x4 NVMe/三星Polaris主控/三星48L 3D MLC/带DRAM/OEM本来不想提它来着，但是我就是想说一件事——一个已经停产几年的企业级SSD，怎么可能会有那么多的全新盘销售？还卖得那么便宜。淘宝店家演戏真是一个比一个像。直接拿未清零的当二手卖说不定我还能考虑一下。还有就是，22110的尺寸笔记本是几乎装不上了，台式机也未必都能装得下。英特尔S3500/S35102.5'SATA/英特尔主控/IMFT 2D MLC/带DRAM英特尔S35202.5'SATA/英特尔主控/IMFT 3D1 MLC(32L)/带DRAM都是二手的，价格大概1元1GB，但是成色普遍很差，而且性能很一般（写入过不了400，不知道是因为英特尔主控太怂还是英特尔就是这么设定的），没什么购买价值。注意35系列不是HET技术的盘，所以写入寿命也只能说是一般，要是写入狂人请考虑36或37系列。英特尔S3610/S3700/S37102.5'SATA/英特尔主控/IMFT 2D HET MLC/带DRAM价格偏贵，但是寿命真心牛，PB量级的，即使被蹂躏之后依然老骥伏枥。但还是不建议购买，大多数用户用不上这么多的写入寿命，还没有靠谱的保修，就算是寿命再长，万一坏了只能自认脸黑。不过这里提醒一下，英特尔的企业盘据说写到寿命之后会锁盘，变成只读（消息的准确性待考，因为没几个人真的见过写到寿命的英特尔企业SSD）。英特尔P3600/P36052.5'U.2或PCIe AIC (PCIe3.0x4)（NVMe）/英特尔主控/IMFT 2D HET MLC/带DRAM如果嫌弃SATA太慢，这就建议上PCIe盘，这体验才叫爽！当然价格也贵，而且基本上都是二手。英特尔P3608PCIe AIC (PCIe3.0x8)（NVMe）/英特尔主控/IMFT 2D HET MLC/带DRAM这个盘更适合HEDT平台，主流平台很难提供PCIe X8（除非从显卡槽拆分），写入速度一般，但读取能达到5000MB/s，在PCIe4.0普及之前就是最强的那一批了。然而现在PCIe4.0已经不是稀罕的东西了，PM9A1也没贵到那里去，在意保修就上980PRO，速度一点也不逊色。美光M6002.5'SATA或m.2 2280 SATA/马维尔88SS9189主控/IMFT 16nm MLC/带DRAM/OEM市面上的这款产品基本上都宣称是“全新”，你别说还真有人相信。都16nm了，寿命未必比3D TLC强哪里去了，还买二手清零，图啥？1TB的MX500照样很稳吧。英睿达BX3002.5'SATA/慧荣SM2258主控/IMFT 3D1 MLC（32L）/带DRAM/零售好像闲鱼上那个挂220元的BX300还没人买……我有一个240G的BX300，现在被我扔到老机器里当系统盘了（“劳动改造”，以前它的工作太闲了，发挥不出MLC的强劲之处），缓外大概450MB/s左右，SLC Cache也是静态的，可以说是很理想的一款SSD了。缺点有三个，其一就是保修只有3年，市面上的基本上都过保了，其二就是传闻它掉盘的概率偏高，这个我没遇到所以持怀疑态度，其三是兼容性不好，和英特尔的AHCI驱动冲突很大（速度会很不稳）。英睿达MX200/MX1002.5'SATA或m.2 2280 SATA/马维尔88SS9189主控/IMFT 16nm MLC/带DRAM/零售停产好多年了，至今也就在小黄鱼上能见到几个。特别提醒，如果是2.5'盘，尽量别买250GB的型号（建议500GB及以上），小容量的MX200是带DAW的（就是动态SLC Cache），体现不出MLC的价值。MLC要什么SLC Cache！英睿达BX1002.5'SATA/慧荣SM2246主控/IMFT 16nm MLC/带DRAM/零售当年的慧荣的主控还只能定位低端入门，英睿达当年的高端MX系列清一色的马牌，直到MX500（是慧荣翻身了还是马牌不实惠呢？）。不过BX100真的就一般了，BX就是低端产品线，美光做得根本就不用心，哪怕是BX300这种“敢越级”的产品，美光也常年不给新固件来解决兼容问题。闪迪Extreme Pro2.5'SATA/马维尔88SS9187主控/东芝（闪迪）19nm MLC/带DRAM/零售不是那个NVMe的至尊超极速，这个是SATA的，10年保修的那款（传家宝）。现在看来这款SSD没什么优势了，当年的价格很高，所以现在卖二手也是传家宝价格。或许闪迪的Ultra3D是更好的选择。因为闪迪换方案的事干了太多，当年SSD PLUS还是MLC的呢（就是主控太拉，SM2246XT，连个缓存都不给），结果现在变成垫底级别的垃圾了，所以闪迪的盘点就到这吧。东芝Q200EX2.5'SATA或m.2 2280 SATA/东芝标的未知主控/东芝15nm MLC/有DRAM也是摆设/零售公认的辣鸡盘，明明是MLC还玩全盘模拟SLC（不过据说有设置一半容量的OP然后当SLC用的玩法，我也没有证实）。虽然部分早期产品上是有DRAM缓存的，但是根本就没有能用上这个缓存的固件，所以后期就索性不焊了。还有就是15nm MLC的寿命是真怂。东芝XG3m.2 2280 PCIe 3.0x4(NVMe)/东芝标的未知主控/东芝15nm MLC/带DRAM/OEM当年（3年前）这个盘还有选购价值，现在看来这个盘太逊了，写入才只有900MB/s左右，发热还大得厉害，买它不如去买sm961。建兴T10m.2 2280 PCIe 3.0x4(NVMe)/群联E7主控/东芝15nm MLC(群联白片)/带DRAM/零售虽然是白片，但这个盘还是很经典的，所以我就把它拿出来瞅瞅。E7是群联早期的NVMe主控，性能肯定是不如新一代主控（接替E7的主控是E12）。可惜的就是建兴的这个品牌已经被卖给了东芝，以后说不定又是一个OCZ，经典的品牌走入历史。建兴V2 PRO2.5'SATA/慧荣SM2246主控/东芝A19nm MLC/带DRAM/零售本来没有它的位置，但是前两年这个盘诈尸了一回，据说是京东特供版，上面有京东的狗标，红红的还很喜庆。不过这个盘的方案够老的了，A19nm这种颗粒早就见不到了。浦科特M6Pro2.5'SATA/马维尔88SS9187主控/东芝A19nm MLC/带DRAM/零售浦科特M6S2.5'SATA/马维尔88SS9188主控/东芝A19nm MLC/带DRAM/零售浦科特M6S Plus2.5'SATA/马维尔88SS9188主控/东芝15nm MLC/带DRAM/零售浦科特的特色是售后，然而二手的话售后就别指望了。理论上plus应该是升级的含义，但是M6S的这个plus却是反向升级，因为常识告诉我们，在2D NAND的时代工艺越先进寿命越短，所以很多缺德媒体大肆渲染换15nm是“升级”的同时就是不提寿命。盘点就到这里了，本来没想写这么多，但不知不觉就把很多厂商的“祖坟”给刨了，很多产品现在基本上已经见不到了。要是再往前说，例如英睿达的M4那个“启蒙时代”，那本文就要过万字了（那么上古的东西也没有购买价值）。嘎子，听哥一句劝，TLC也不是不好，别再对MLC单相思了，有钱就上傲腾吧。Sasuga SetsunaFrom ETAC Labs（Mizuiro-Aqua 1st Studio）本文为我原创本文禁止转载或摘编

电脑

SSD

固态硬盘

体验

闪存

MLC

主控

NAND

Mizuiro-Aqua

流石雪菜

分享到：

投诉或建议评论目录-----

GitHub - mlc-ai/mlc-llm: Enable everyone to develop, optimize and deploy AI models natively on everyone's devices.

GitHub - mlc-ai/mlc-llm: Enable everyone to develop, optimize and deploy AI models natively on everyone's devices.

Skip to content

Toggle navigation

Sign in

Product

Actions

Automate any workflow

Packages

Host and manage packages

Security

Find and fix vulnerabilities

Codespaces

Instant dev environments

Copilot

Write better code with AI

Code review

Manage code changes

Issues

Plan and track work

Discussions

Collaborate outside of code

Explore

All features

Documentation

GitHub Skills

Blog

Solutions

For

Enterprise

Teams

Startups

Education

By Solution

CI/CD & Automation

DevOps

DevSecOps

Resources

Learning Pathways

White papers, Ebooks, Webinars

Customer Stories

Partners

Open Source

GitHub Sponsors

Fund open source developers

The ReadME Project

GitHub community articles

Repositories

Topics

Trending

Collections

Pricing

Search or jump to...

Search code, repositories, users, issues, pull requests...

Search

Clear

Search syntax tips

Provide feedback

We read every piece of feedback, and take your input very seriously.

Include my email address so I can be contacted

Cancel

Submit feedback

Saved searches

Use saved searches to filter your results more quickly

Name

Query

To see all available qualifiers, see our documentation.

Cancel

Create saved search

Sign in

Sign up

You signed in with another tab or window. Reload to refresh your session.

You signed out in another tab or window. Reload to refresh your session.

You switched accounts on another tab or window. Reload to refresh your session.

Dismiss alert

mlc-ai

/

mlc-llm

Public

Notifications

Fork

1.2k

Star

16.1k

Enable everyone to develop, optimize and deploy AI models natively on everyone's devices.

llm.mlc.ai/docs

License

Apache-2.0 license

16.1k

stars

1.2k

forks

Branches

Tags

Activity

Star

Notifications

Code

Issues

187

Pull requests

14

Actions

Projects

2

Security

Insights

Additional navigation options

Code

Issues

Pull requests

Actions

Projects

Security

Insights

mlc-ai/mlc-llm

This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.

 mainBranchesTagsGo to fileCodeFolders and filesNameNameLast commit messageLast commit dateLatest commit History963 Commits.github.github  3rdparty3rdparty  androidandroid  cici  cmakecmake  cppcpp  docsdocs  examplesexamples  iosios  mlc_llmmlc_llm  pythonpython  rustrust  scriptsscripts  sitesite  teststests  .clang-format.clang-format  .gitignore.gitignore  .gitmodules.gitmodules  CMakeLists.txtCMakeLists.txt  CONTRIBUTORS.mdCONTRIBUTORS.md  LICENSELICENSE  README.mdREADME.md  build.pybuild.py  pyproject.tomlpyproject.toml  setup.pysetup.py  version.pyversion.py  View all filesRepository files navigationREADMEApache-2.0 licenseMLC LLM

Documentation | Blog | Discord

Machine Learning Compilation for Large Language Models (MLC LLM) is a high-performance universal deployment solution that allows native deployment of any large language models with native APIs with compiler acceleration. The mission of this project is to enable everyone to develop, optimize and deploy AI models natively on everyone's devices with ML compilation techniques.

Universal deployment. MLC LLM supports the following platforms and hardware:

AMD GPU

NVIDIA GPU

Apple GPU

Intel GPU

Linux / Win

✅ Vulkan, ROCm

✅ Vulkan, CUDA

N/A

✅ Vulkan

macOS

✅ Metal (dGPU)

N/A

✅ Metal

✅ Metal (iGPU)

Web Browser

✅ WebGPU and WASM

iOS / iPadOS

✅ Metal on Apple A-series GPU

Android

✅ OpenCL on Adreno GPU

✅ OpenCL on Mali GPU

Scalable. MLC LLM scales universally on NVIDIA and AMD GPUs, cloud and gaming GPUs. Below

showcases our single batch decoding performance with prefilling = 1 and decoding = 256.

Performance of 4-bit CodeLlama-34B and Llama2-70B on two NVIDIA RTX 4090 and two AMD Radeon 7900 XTX:

Scaling of fp16 and 4-bit CodeLlama-34 and Llama2-70B on A100-80G-PCIe and A10G-24G-PCIe, up to 8 GPUs:

News

[10/18/2023] [Post] Scalable multi-GPU support for CUDA and ROCm are official.

[09/02/2023] Prebuilt ROCm 5.7 and CUDA 12.2 package is available.

[08/25/2023] CodeLlama support is up.

[08/14/2023] [Post] Mali GPU support is up on Orange Pi.

[08/09/2023] [Post] ROCm backend is mature to use.

[08/02/2023] Dockerfile is released for CUDA performance benchmarking.

[07/19/2023] Support for Llama2-7B/13B/70B is up.

[05/22/2023] [Post] RedPajama support is up.

[05/08/2023] [Post] MLC LLM is now available on Android.

[05/01/2023] [Post] MLC LLM is released with Metal, Vulkan and CUDA backends.

[04/14/2023] WebLLM is released prior to MLC LLM with WebGPU and WebAssembly backend.

Getting Started

Please visit our documentation for detailed instructions.

Model Support

MLC LLM supports a wide range of model architectures and variants. We have the following prebuilts which you can

use off-the-shelf. Visit Prebuilt Models to see the full list, and Compile Models via MLC to see how to use models not on this list.

Architecture

Prebuilt Model Variants

Llama

Llama-2, Code Llama, Vicuna, WizardLM, WizardMath, OpenOrca Platypus2, FlagAlpha Llama-2 Chinese, georgesung Llama-2 Uncensored

GPT-NeoX

RedPajama

GPT-J

RWKV

RWKV-raven

MiniGPT

GPTBigCode

WizardCoder

ChatGLM

StableLM

Mistral

Phi

Universal Deployment APIs

MLC LLM provides multiple sets of APIs across platforms and environments. These include

Python API

OpenAI-compatible Rest-API

C++ API

JavaScript API and Web LLM

Swift API for iOS App

Java API and Android App

Citation

Please consider citing our project if you find it useful:

@software{mlc-llm,

author = {MLC team},

title = {{MLC-LLM}},

url = {https://github.com/mlc-ai/mlc-llm},

year = {2023}

}

The underlying techniques of MLC LLM include:

References (Click to expand)

@inproceedings{tensorir,

author = {Feng, Siyuan and Hou, Bohan and Jin, Hongyi and Lin, Wuwei and Shao, Junru and Lai, Ruihang and Ye, Zihao and Zheng, Lianmin and Yu, Cody Hao and Yu, Yong and Chen, Tianqi},

title = {TensorIR: An Abstraction for Automatic Tensorized Program Optimization},

year = {2023},

isbn = {9781450399166},

publisher = {Association for Computing Machinery},

address = {New York, NY, USA},

url = {https://doi.org/10.1145/3575693.3576933},

doi = {10.1145/3575693.3576933},

booktitle = {Proceedings of the 28th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Volume 2},

pages = {804–817},

numpages = {14},

keywords = {Tensor Computation, Machine Learning Compiler, Deep Neural Network},

location = {Vancouver, BC, Canada},

series = {ASPLOS 2023}

}

@inproceedings{metaschedule,

author = {Shao, Junru and Zhou, Xiyou and Feng, Siyuan and Hou, Bohan and Lai, Ruihang and Jin, Hongyi and Lin, Wuwei and Masuda, Masahiro and Yu, Cody Hao and Chen, Tianqi},

booktitle = {Advances in Neural Information Processing Systems},

editor = {S. Koyejo and S. Mohamed and A. Agarwal and D. Belgrave and K. Cho and A. Oh},

pages = {35783--35796},

publisher = {Curran Associates, Inc.},

title = {Tensor Program Optimization with Probabilistic Programs},

url = {https://proceedings.neurips.cc/paper_files/paper/2022/file/e894eafae43e68b4c8dfdacf742bcbf3-Paper-Conference.pdf},

volume = {35},

year = {2022}

}

@inproceedings{tvm,

author = {Tianqi Chen and Thierry Moreau and Ziheng Jiang and Lianmin Zheng and Eddie Yan and Haichen Shen and Meghan Cowan and Leyuan Wang and Yuwei Hu and Luis Ceze and Carlos Guestrin and Arvind Krishnamurthy},

title = {{TVM}: An Automated {End-to-End} Optimizing Compiler for Deep Learning},

booktitle = {13th USENIX Symposium on Operating Systems Design and Implementation (OSDI 18)},

year = {2018},

isbn = {978-1-939133-08-3},

address = {Carlsbad, CA},

pages = {578--594},

url = {https://www.usenix.org/conference/osdi18/presentation/chen},

publisher = {USENIX Association},

month = oct,

}

Links

You might want to check out our online public Machine Learning Compilation course for a systematic

walkthrough of our approaches.

WebLLM is a companion project using MLC LLM's WebGPU and WebAssembly backend.

WebStableDiffusion is a companion project for diffusion models with the WebGPU backend.

About

Enable everyone to develop, optimize and deploy AI models natively on everyone's devices.

llm.mlc.ai/docs

Topics

language-model

tvm

llm

machine-learning-compilation

Resources

Readme

License

Apache-2.0 license

Activity

Custom properties

Stars

16.1k

stars

Watchers

158

watching

Forks

1.2k

forks

Report repository

Releases

1

tags

Packages

0

No packages published

Contributors

93

+ 79 contributors

Languages

Python

81.6%

C++

13.6%

Swift

1.4%

Kotlin

1.3%

Rust

0.9%

Shell

0.3%

Other

0.9%

Footer

© 2024 GitHub, Inc.

Footer navigation

Terms

Privacy

Security

Status

Docs

Contact

Manage cookies

Do not share my personal information

You can’t perform that action at this time.

浅谈MLC LLM(轻设备大模型） - 知乎

浅谈MLC LLM(轻设备大模型） - 知乎切换模式写文章登录/注册浅谈MLC LLM(轻设备大模型）知途AI​https://chat.yufu.pub从此，大模型可以在任何设备上编译运行。「我把大语言模型下到我的 iPhone 上，它神奇地跑起来了！」这五一假期还没结束，大模型领域的技术就已经发展到了这种程度。Amazing~~~对于陈天奇等人开源的新技术，大家一致的评论是「Amazing」。最近人们都在研究 ChatGPT，大语言模型（LLM）彻底改变了科技领域的格局，但对于 AI 开发者来说，并不是人人都有上万块 A100 的。为了跑得起大模型，就要寻找各种优化方法。在让大模型变小这条路上，人们做了很多尝试，先是 Meta 开源了 LLaMA，让学界和小公司可以训练自己的模型。随后斯坦福研究者启动了 Lamini，为每个开发者提供了从 GPT-3 到 ChatGPT 的快速调优方案。最近这个叫 MLC LLM 的项目可谓一步登天，因为它能让你「在任何设备上编译运行大语言模型。MLC LLM 为我们在各类硬件上原生部署任意大型语言模型提供了解决方案，可将大模型应用于移动端（例如 iPhone）、消费级电脑端（例如 Mac）和 Web 浏览器。该项目是由 TVM、MXNET、XGBoost 作者，CMU 助理教授，OctoML CTO 陈天奇等多位研究者共同开发的，参与者来自 CMU、华盛顿大学、上海交通大学、OctoML 等院校机构，同时也获得了开源社区的支持。项目地址：https://github.com/mlc-ai/mlc-llmDemo：https://mlc.ai/mlc-llm/借助 MLC LLM 方案，我们可以在移动端部署和运行大型语言模型，例如在 iPhone 上运行聊天机器人：在 Web 浏览器上运行聊天机器人：当然，在 Windows 和 Linux 上本地运行也是肯定可以的，聊天机器人应用程序能通过 Vulkan 平台在 GPU 上运行：MLC-LLM 推出不到两天，GitHub 的 Star 量已经接近一千。在社交网络上人们纷纷点赞，表示 MLC-LLM 让我领教了低精度跑 AI 的可怕程度：也有人晒出了自己的使用体验，iPhone 飞行模式本地跑大语言模型：简单来说，MLC LLM 是一种通用解决方案，它允许将任何语言模型本地部署在各种硬件后端和本地应用程序上。此外，MLC LLM 还提供了一个高效的框架，供使用者根据需求进一步优化模型性能。MLC LLM 旨在让每个人都能在个人设备上本地开发、优化和部署 AI 模型，而无需服务器支持，并通过手机和笔记本电脑上的消费级 GPU 进行加速。具体来说，MLC LLM 支持的平台包括：iPhneMetal GPU 和英特尔 / ARM MacBook;在 Windows 和 Linux 上支持通过 Vulkan 使用 AMD 和 NVIDIA GPU；在 Windows 和 Linux 上 通过 CUDA 使用 NVIDIA GPU；浏览器上的 WebGPU（借助 MLC LLM 的配套项目 Web LLM）。项目概览为了实现在各类硬件设备上运行 AI 模型的目标，研究团队首先要解决计算设备和部署环境的多样性问题，主要挑战包括：支持不同型号的 CPU、GPU 以及其他可能的协处理器和加速器；部署在用户设备的本地环境中，这些环境可能没有 python 或其他可用的必要依赖项；通过仔细规划分配和积极压缩模型参数来解决内存限制。MLC LLM 提供可重复、系统化和可定制的工作流，使开发人员和 AI 系统研究人员能够以 Python 优先的方法实现模型并进行优化。MLC LLM 可以让研究人员们快速试验新模型、新想法和新的编译器 pass，并进行本地部署。原生部署为了实现原生部署，研究团队以机器学习编译（MLC）技术为基础来高效部署 AI 模型。MLC LLM 借助一些开源生态系统，包括来自 HuggingFace 和 Google 的分词器，以及 LLaMA、Vicuna、Dolly 等开源 LLM。MLC LLM 的主要工作流基于 Apache TVM Unity，通过扩展 TVM 后端使模型编译更加透明和高效。Dynamic shape：该研究将语言模型烘焙（bake）为具有原生 Dynamic shape 支持的 TVM IRModule，避免了对最大输入长度进行额外填充的需要，并减少了计算量和内存使用量。可组合的 ML 编译优化：MLC LLM 可以执行许多模型部署优化，例如更好的编译代码转换、融合、内存规划和库卸载（library offloading），并且手动代码优化可以很容易地合并为 TVM 的 IRModule 转换，成为一个 Python API。量化：MLC LLM 利用低位量化来压缩模型权重，并利用 TVM 的 loop-level TensorIR 为不同的压缩编码方案快速定制代码生成。运行时（Runtime）：TVM 编译生成的库能够通过 TVM runtime 在设备的原生环境中运行，TVM runtime 支持 CUDA/Vulkan/Metal 等主流 GPU 驱动以及 C、JavaScript 等语言的绑定。此外，MLC 还为 CUDA、Vulkan 和 Metal 生成了 GPU shader，并通过 LLVM 支持多种 CPU，包括 ARM 和 x86。通过改进 TVM 编译器和运行时，使用者可以添加更多支持，例如 OpenCL、sycl、webgpu-native。MLC-LLM 的发布让我们再次感受到了陈天奇 TVM 的力量。陈天奇是机器学习领域知名青年学者，2019 年任卡耐基梅隆大学机器学习、计算机科学系助理教授。早在 2017 年，他和他的同时开源了著名深度学习框架 TVM，对业界产生了深远的影响。利用这一工具，机器学习算法可以自动编译成可供下层硬件执行的机器语言，从而可以利用多种类型的算力。在人们的努力下，我们或许很快就能看到云 + 端侧分别部署大模型的下一代应用。发布于 2023-05-03 07:54・IP 属地湖南#ChatGPTAI大模型LLM（大型语言模型）​赞同 4​​10 条评论​分享​喜欢​收藏​申请

百度安全验证

百度安全验证

网络不给力，请稍后重试

返回首页

问题反馈