LLM (大语言模型) 在 RISC-V 平台上的布署与最佳化

LLM (大语言模型) 在 RISC-V 平台上的布署与最佳化

欢迎了解 SiFive 如何在 RISC-V 平台上革新 AI/ML 部署。我们将深入说明专为 RISC-V 设计的 SiFive AI/ML 软体堆叠，并示范如何将 Pytorch Llama 模型无缝部署到 SiFive Intelligence 平台上。

本次研讨会也将讨论优化大型语言模型（LLM）面临的挑战，并介绍 SiFive 如何透过基于 MLIR 的 IREE 编译器和运行，实现 Llama 模型的即时效能。

网络研讨会信息

42分42秒

2024-10-16

讲师

許宏榮 Hong-Rong Hsu

Senior Staff Engineer

許宏榮自 2019 年以来持续领导开源软件团队，目前于 SiFive 担任团队经理。他负责 AI/ML 软件的开发并监督产品部署。在加入 SiFive 前，许宏荣曾于 2010 年至 2018 年任职联发科，并于 2018 年至 2019 年在比特大陆服务，积累了许多宝贵的经验。他的专业知识涵盖研发的各个层面，包括 AI 编译器和运行时设计以及 RISC-V Vector 的软件优化。