Infini-AI上层支持的多种训练策略包括张量并行、数据并行还有通信的overlap,可实现高效训练,能够支持700亿以上token的大模型训练,以及大规模模型的一键混训。使用该平台,开发者不用花更多的时间考虑底层的算力差异,在不同芯片构成的混合集群上可以快速定制自己的大模型,快速落地自己的业务。
分析师指出,目前市场关注的焦点在于三星能否迅速获得英伟达的HBM供应商资格,而不是罢工本身。Eugene投资证券研究中心主管Lee Seung-woo认为,罢工对三星盈利的影响难以评估,因为潜在的生产中断可能推高芯片价格。
由此可见,在此过程中,GPU、GPU代工商以及HBM生产商之间形成了紧密而稳固的合作关系,彼此之间的联系十分紧密。
3月18日,英伟达宣告称,公司的B100和B200使用192GB(8个24GB8层HBM3E),HBM用量进一步提升。
法国竞争管理局主席Benoit Coeure在记者会上表示,如果调查结果显示NVIDIA确实存在问题,公司将会受到正式的指控。
上游芯片供应侧方面,SK海力士、三星、美光三家DRAM存储芯片大厂逐步扩产HBM(高带宽内存)——HBM可以实现AI训练所需的高带宽和低功耗,提升数据处理速度,在服务器中和GPU封装在一起;此外,芯片封装厂商台积电也在扩充CoWoS先进封装技术生产线;其次,英伟达H100 GPU的交货前置时间,从先前动辄40-50周下降至不到16周。龚明德告诉南都记者,去年由于CoWoS和HBM等关键组件产能紧张,导致AI服务器供应不足,部分订单被延迟至2024年。
AI芯片要求高算力和大带宽,算力越强、每秒处理数据的速度越快,而带宽越大、每秒可访问的数据越多,算力强弱主要由AI芯片决定,带宽由存储器决定,存力是限制AI芯片性能的瓶颈之一。
三星电子最大工会在争取加薪运动出现失去动力的迹象后,改变了策略。该工会目前正在呼吁三星最先进的人工智能(AI)存储芯片工厂的员工罢工。
“与几乎每年都要应对罢工事件的现代汽车不同,三星管理层将很难控制这种情况,因为它以前从未处理过罢工事件。”对于此次罢工抗议,韩国世宗大学商学院教授金大钟表示20% 的员工罢工将对整个公司产生重大影响,尤其是在半导体行业瞬息万变的情况下,公司需要迅速采取行动。
发表评论