記事一覧へ
RustバックエンドとFlash Attention・AdamW等のCUDAカーネルを用いた自作MLフレームワークで、1200万パラメータのLLMを訓練した。
Transformerアーキテクチャ全体とBPEトークナイザをスクラッチで実装。
フレームワークの特徴:
- カスタムCUDAカーネル（Flash Attention、fused… https://t.co/YtfBH6YLan
ai-thinking
自作フレームワークで1200万パラメータLLMを訓練
♥ 2,614↻ 211👁 480,000
原文を表示 / Show original
I trained a 12M parameter LLM on my own ML framework using a Rust backend and CUDA kernels for flash attention, AdamW, and more.
Wrote the full transformer architecture, and BPE tokenizer from scratch.
The framework features:
- Custom CUDA kernels (Flash Attention, fused https://t.co/YtfBH6YLan