轻薄型笔记本也能高效运行大模型！英特尔实力推动生成式ai场景在个人电脑落地
以第12代、第13代英特尔酷睿处理器和英特尔锐炫a系列显卡为代表的英特尔多款客户端芯片均能提供强劲性能，以满足生成式ai(aigc)对于高算力的需求，在此基础上，英特尔还通过软件生态的构建和模型优化，进一步推动新兴的生成式ai场景在个人电脑的落地，广泛覆盖轻薄本、全能本、游戏本等。目前，英特尔正与pc产业众多kok手机网页版的合作伙伴通力合作，致力于让广大用户在日常生活和工作中，通过ai的辅助来提高效率，进而带来革新性的pc体验。
英特尔积极拥抱ai社区，基于openvino pytorch后端的方案，通过pytorch api让社区开源模型能够很好地运行在英特尔的客户端处理器、集成显卡、独立显卡和专用ai引擎上。以图形视觉领域为例， stable diffusion的实现automatic1111 webui，已经能通过上述方式，在英特尔客户端平台的cpu和gpu(包括集成显卡和独立显卡)上运行fp16精度的模型，用户可以在文字生成图片、图片生成图片以及局部修复等功能上获得良好的使用体验。
不仅如此，英特尔通过模型优化，降低了模型对硬件资源的需求，进而提升了模型的推理速度，让社区开源模型能够很好地运行在个人电脑上。以大语言模型为例，英特尔通过第13代英特尔酷睿处理器xpu的加速、low-bit量化以及其它软件层面的优化，可让高达160亿参数的大语言模型，通过bigdl-llm框架运行在16gb及以上内存容量的个人电脑上。这也彰显了英特尔能够适应当下快速发展的大语言模型生态，快速对接新兴模型，并兼容目前huggingface上的transformers模型。已经验证过的模型包括但不限于：llama/llama2、chatglm/chatglm2、mpt、falcon、moss、baichuan、qwen、dolly、redpajama、starcoder、whisper等。此外，英特尔还提供了易用的api接口(transformers、langchain)，并支持windows、linux的操作系统。
英特尔的下一代处理器meteor lake具备独特的分离式模块架构的优势，为pc用户提供了以ai驱动的新功能，包括像adobe premiere pro中的自动重新构图和场景编辑检测等多媒体功能，并实现更有效的机器学习加速。英特尔与pc产业kok手机网页版的合作伙伴此刻正站在旅程的起点，向着规模化应用ai加速转型的方向前行。随着英特尔后续几代产品进一步扩展，规模和数量的大幅增长将让数亿人轻松享受ai加速体验，并实现更优的智能协作、更快的处理速度和更强的功能特性实现前所未有的体验变革。
编辑点评：让轻薄型笔记本也能高效运行大模型，笔者认为这是英特尔非常厉害的地方。对于英特尔自身来说，在轻薄本市场上，英特尔又多了一大卖点。对于从事生成式ai项目的用户们来说，很多工作现在仅需一台轻薄本就够了，如此美妙的体验，笔者在以前是不曾想象的。不得不感叹，科技进步有时候就是这么的快！