vLLMを拡張してLLM内部に介入する機能を実装した話

LLMは内部状態にベクトルを足し合わせることで、性格を付与したり、推論能力を高めるなど、振る舞いを操作することができます。私たちはこうしたベクトル技術の研究開発を進める中で、Python製のLLM推論エンジンとして広く使われているvLLMの内部にダイブし、実装の拡張によって技術を組み込みました。

本トークは、まず「LLM推論エンジンはそもそもどう作られているのか？」という素朴な疑問から始め、vLLM全体のアーキテクチャを概観します。次に、クラス構造について、実コードを追いながら紐解き「どこに手を入れれば内部の状態に介入できるか」を探っていきます。そして、LoRA実装を流用して実装したベクトル技術について説明します。なぜLoRA実装の流用だけで済んだのか、vLLMの設計のどこに助けられた結果だったのか、設計判断を共有します。

本トークは「LLMの内部状態に介入ができる」という個別ノウハウだけではなく「Python製OSSをハックしたくなったとき、どこから読み始め、どこに手を入れるべきか」という普遍的な学びを含みます。