AIFCC
記事一覧へ
InfrastructureAIai-industryLLMGPU

LLM推論エンジン全体がたった70K行 — GPUカーネル含む

norpadon@norpadon
2,06046🔖 175👁 214,334
LLM推論エンジン全体、GPUカーネルとかその他のすべてを含めて、コード行数は約70K行くらいです。何だこれ?
原文を表示 / Show original
Our entire LLM inference engine, including GPU kernels and everything else, is about 70K lines of code. What is this?

AIFCC — AI Fluent CxO Club

読み書きそろばん、AI。経営者が AI を自分で動かせるようになるコミュニティ。

LLM推論エンジン全体がたった70K行 — GPUカーネル含む | AIFCC