ファーマコメトリクスにAIエージェントは入ったか:論文・チュートリアル・OSSを横断して読む
LLMエージェントによる母集団PKモデリングについて、論文、チュートリアル、OSS、会議のページを読み、何が評価され、何が評価されていないかを整理する短い論考。
On this page
解析は実行できても妥当性の確認が残る
入り口には来たが、まだ任せられる段階ではない。LLMエージェントが母集団PKモデルを組み立てて実行するところまでは、2026年の論文とチュートリアルで実演された。ただし、実際に実行まで行った二つの資料(PKGPTとチュートリアル)は、どちらも「動く・自己検証を通る」ことと「科学的に妥当である」ことの間に距離があると報告している。評価の単位、繰り返しの数、比べる相手が資料ごとに違い、結果を横に並べて「ここまで来た」とは言えない。評価の共通の物差しを作る動きは始まったばかりで、LLMエージェントはその対象になっていない。
読んだ日は2026年10月。実験はしていない。公開された論文、チュートリアル、GitHub、会議のページを読んだ短い論考で、数値はすべて各資料の記載の転載であり、私は再計算していない。X(旧Twitter)と掲示板は読めなかったので、現場の反応は入っていない。
「AI」は三つの別のものを指す
表1.予測器・探索の自動化・LLMエージェントの違い。
| Meaning | Task | Example |
|---|---|---|
| Machine learning as a predictor | Predict concentration or response directly as an alternative to nonlinear mixed-effects modeling, NLME | Mao et al. 2025 (1) |
| Automated model search | Select models within a defined search space using optimization rather than an LLM | Richardson et al. 2025, pyDarwin (2) |
| An LLM acting as modeler | Write code, execute it and revise it after inspecting results | PKGPT, the context-engineering tutorial, nlmixr2llm |
本記事は三つ目を扱う。ただし三つ目の中にも、コードを書くだけで実行しない評価(Zhengら)と、実行して直すループを持つ評価(PKGPT、チュートリアル)がある。
何が評価されたのか
表2.資料の種類と評価対象。
| Source | Type | Evaluated task | Scale | Execution |
|---|---|---|---|---|
| Zheng et al. 2025 (3) | Paper | Scoring LLM-written NONMEM code | 7 LLMs, 13 tasks | None; code scoring |
| PKGPT, Kwack et al. 2026 (4) | Paper and software | Iterative NONMEM execution and revision | 3 datasets, 3 runs each | Yes |
| Pritchard-Bell et al. 2026 (5) | Tutorial | Analysis divided into 36 tasks in one synthetic PK/PD scenario | 6 runs: Claude Code 3, Codex 3 | Yes |
| Ponce-Bobadilla et al. 2026 (6) | Perspective | Practices for benchmarking predictive AI | No new performance evaluation | Not applicable |
| nlmixr2llm (7) | Software | R support tools | No validation description identified | Not applicable |
「コードが書ける」「モデルが収束する」「専門家が見て妥当である」は別の水準で、資料ごとにどれを見たかが違う。
Zheng:コードの採点
Zhengらは7つのLLMに13のNONMEM課題を与え、実行せずにコードを最大6点で採点した。最適化したプロンプトでは、o1とgpt-4.1が全13課題で6点だった(元のプロンプトでは中央値5)。苦手とされたのは間接反応モデル(薬効が、薬が作用する先の物質の産生や消失を変える形のモデル)などの複雑なPK/PDで、ラグタイムは最適化したプロンプトで改善した例として挙がっている。著者は「ユーザーによる確認は引き続き必須」とまとめている。短い課題を、実行せず、論文側の基準で採点した結果であることは、点数の読み方に影響する。
2024年の別の研究(Shinら (8) とCloesmeijerら (9))は、当時の一般向けのChatGPTやGeminiのコードに構造や文法の誤りがあり、出力が再現しなかったと報告している。この二つはアブストラクトしか読んでいない。
PKGPT:実行できることと妥当であることの距離
PKGPT(Gemini 3.0 Flash)は、基本モデル、構造の診断、過剰適合の抑制、変量効果の最適化、共変量解析の5段階で、NONMEMを実行して制御ファイルを直す。ワルファリン(n=32)では、各データ3回の実行のうち、著者の複合スコアで選んだ最良の回の目的関数値(OFV、小さいほど当てはまりがよい)が484.43だった。専門家のモデルは294.41である。ただし二つは同じモデルではない。専門家のモデルはラグタイム(吸収が始まるまでの遅れ、0.825時間)と体重によるクリアランスと分布容積の補正(アロメトリー)を含み、エージェントのモデルは含んでいない。最良の回でも、吸収速度の個体間変動のシュリンケージ(個人ごとの推定が全体の平均に引き寄せられる程度)は42.8%と、一般に気にされる30%を超えていた。ほかの2回のOFVは1208.94と1620.54で、2回とも変量効果が崩れていた(シュリンケージ99.3%と100%)。
結果は悪い面だけではない。テオフィリン(n=12)の最良の回のパラメータは専門家の解にほぼ一致し、トブラマイシンの最良の回のOFVは専門家のモデルより低かった(161.73と173.11)。ただし後者は、分布容積V2が149 Lと、専門家の13.2 Lから大きく離れ、共分散ステップ(推定値の不確かさを出す計算)も失敗していた。数値上の改善が、生理学的な妥当性を犠牲にしていた例である。1回の実行は20〜40分で、著者は人手で数日から数週間かかる作業と対比している。
読むときの前提として、各データ3回であること、データが小さい古典的な公開データであること、選ぶ基準が専門家の答えとは独立だが3回の中から選ぶ方式であることがある。著者は、体重のアロメトリーを他の共変量と同じ段階的な基準で評価した設計を、将来の実装で見直すべき点として挙げている。
チュートリアル:自己検証が通っても答えが違う
Pritchard-Bellらのチュートリアル(CPT: PSP 2026)は、解析を36の課題に分け、各課題を新しいLLMに渡し、状態は作業ファイルで受け渡す。一つの合成PK/PDシナリオを、Claude Code(Opus 4.6)とOpenAI Codex(GPT-5.3)で3回ずつ解析した。
最初の実行では、PDモデルの形が4種類に分かれ、薬の効きの指標(EC50/IC50)が8倍の範囲に散り、月ごとの用量の推奨は100〜800 mgにまたがった。それでも、各モデルは収束、精度、適合度の自己検証を通っていた。著者は、自己検証は機械的な失敗を捕まえるが、確認項目に入っていない科学的な判断は見ない、と述べている。そこで「間接反応モデルを第一候補にする」という規則を足すと、6回中5回が間接反応I型を選び、推奨は400〜600 mgに狭まった。バイオアベイラビリティの推定の規則を直すと、プラットフォーム間のクリアランスの推定値の差は30%から10.5%になった。
この規則の効果の読み方には注意が要る。規則は、真値が分かっている同じ合成シナリオで調整されたもので、別のシナリオでの性能は示されていない。規則を足した後も、EC50/IC50は約5倍(0.56〜2.80 mg/L)の幅で残っていた。著者自身も、合成シナリオが一つ、プラットフォームごとにN=3、ハーネス(LLMを動かす外側の仕組み)とモデルが交絡していること、レビューした専門家4人が開発チームの人であることを限界に挙げている。代表的な1回の実行は約4時間、API費用は約70ドルだった。
考察
成功の単位が揃っていない。 「コードが動く」「収束する」「専門家のモデルに近い」「決定が変わらない」は別の水準である。薬理学の意思決定に最も近いのは最後だが、評価されたのはチュートリアルの一つの合成シナリオだけである。
実行ごとの違いを見る必要がある。 PKGPTの3回の実行はOFVが484から1621まで散り、チュートリアルでは最初のPDの形が4種類に割れた。ただし各3回のため、ばらつきの大きさを精密には推定できない。テオフィリンのように安定したデータもあり、ばらつきの一部は、段階を前にしか進められない設計にも由来する。最良の1回や平均は実行ごとの違いを隠すので、同じ条件で何回走らせて何回同じ構造になるかを見るのが、評価の最低条件だと私は考える。
自己検証が見ないところに誤りが残る。 PKGPTでは、収束や共分散ステップの失敗として一部は見えた。チュートリアルでは、自己検証を通ったままPDの形が割れた。同じ現象ではないが、「報告された確認」と「妥当性」が別であることを、どちらも示している。私が公開のスキル集でワルファリンの解析を4回やらせた別の記事でも、ラグタイムが実際にはモデルに入っていない比較や、交差検証の推定し直しが初期値から動いていない回が、レポートではなくコードを読んで見つかった。LLM、ソフトウェア、ワークフローが違うので、三者の結果を同じ尺度で並べることはできない。
評価の物差しはこれからである。 Ponce-Bobadillaらの展望は、予測AIの評価で、指標の不一致、合成データと実データの混在、論文と実装のずれ、評価手順の不一致(MLは検証用に取り分けたデータでの評価、NLMEは同じデータでの診断が多い)という4つの問題を挙げ、全手法で取り分けたデータでの評価と、公開の基準データの整備を提案している。PAGE 2025ではSale and Zhao (10) が、ブラインドの年次ベンチマーク(最大3つのデータ、公開の探索空間、6か月)の構想を示し、PAGE 2026のISoP AI/ML SIG (11) は基準データの整備を重点に挙げている。これらはLLMエージェントを対象にした議論ではない。
OSSと技術ブログ
nlmixr2llm(BSD-3)は、nlmixr2用の知識をClaude CodeやCodexのプラグインとして入れるRパッケージである。K-Dense Scientific Agent Skills (12) には pkpd-modeling を含む多数のスキルがあり、Anthropicのエンジニアリングブログ(2025年10月) (13) はスキルを「SKILL.mdを含むフォルダ」と説明し、信頼できるスキルだけを使うことと、評価から始めることを勧めている。私が読んだ範囲では、nlmixr2llmのREADMEに検証の指針はなく、K-Denseの論文の概要にも課題ごとの評価は見当たらなかった。導入の部品は、評価の部品より先に公開されているように見える(READMEと概要を読んだ範囲での印象で、リポジトリ全体は精査していない)。
実行の成功と解析の妥当性は異なる
読んだ資料の「成功」は同じ意味ではない。コードが実行できたこと、推定が動いたこと、構造の指定が意図と一致したこと、未使用データで予測できたことは、別々の結果である。最良の1回のレポートだけでは、同条件での構造選択のばらつきも分からない。
この文献調査は、特定の運用手順やスキルの効果を検証した実験ではない。自己検証の記述を、人による独立確認と同等の証拠として数えることもできない。資料にある性能を、解析全体を任せられるという一つの判定へまとめる根拠はそろっていない。
未読の資料と確認できない情報
- 本文を読んだのは、PKGPT、文脈工学のチュートリアル、Zheng、Richardson、Ponce-Bobadilla、Anthropicのブログ。Shin 2024、Cloesmeijer 2024、Cha 2025 (14)、Mao 2025はアブストラクト、nlmixr2llmとK-DenseはREADMEや概要だけである。
- PKGPTとチュートリアルの数値は転載で、再現していない。二つとも開発者自身による評価である。
- XとRedditは読めなかった。企業の製品(Certaraのワークショップなど (15))は案内のページを見ただけで、性能は確認していない。
- FDA・EMAのAIの原則やICH M15などの規制文書は対象にしていない。
資料ごとの読了範囲は sources.md に記録されている。
参照
- Mao B, Gao Y, Xu C, Macha S, Shao S, Ahamadi M. Opportunities for AI-based Model-informed Drug Development: A Comparative Analysis of NONMEM and AI-based Models for Population Pharmacokinetic Prediction. The AAPS Journal. 2026;28(1):21. doi:10.1208/s12248-025-01121-x.
- Richardson S, Irurzun Arana I, Nowojewski A, Zhou D, Leander J, Tang W, et al. A machine learning approach to population pharmacokinetic modelling automation. Communications Medicine. 2025;5(1):327. doi:10.1038/s43856-025-01054-8.
- Zheng W, Wang W, Kirkpatrick CMJ, Landersdorfer CB, Yao H, Zhou J. AI for NONMEM Coding in Pharmacometrics Research and Education: Shortcut or Pitfall? CPT: Pharmacometrics & Systems Pharmacology. 2025;14(12):1965-1969. doi:10.1002/psp4.70125.
- Kwack H, Kong H, Lim J, Zhang BT, Hahn J, Chang MJ. PKGPT: Expert-Orchestrated Recursive LLM Agent for Automated NONMEM PopPK Modeling with Human Benchmarking. Pharmaceutics. 2026;18(4):501. doi:10.3390/pharmaceutics18040501.
- Pritchard‐Bell A, Lin CW, Holmes W, Doshi S. Context Engineering for AI ‐Assisted Pharmacometrics: A Practical Tutorial. CPT: Pharmacometrics & Systems Pharmacology. 2026;15(8):e70317. doi:10.1002/psp4.70317.
- Ponce‐Bobadilla AV, Bräm D, Farnoud A, Fröhlich H, Janssen A, Korsbo N, et al. Predictive AI in Clinical Pharmacology: A Call to Action to Develop Robust Benchmarking Practices. CPT: Pharmacometrics & Systems Pharmacology. 2026;15(1):e70155. doi:10.1002/psp4.70155.
- Fidler M and contributors. nlmixr2llm [software]. Repository. README consulted.
- Shin E, Yu Y, Bies RR, Ramanathan M. Evaluation of ChatGPT and Gemini large language models for pharmacometrics with NONMEM. Journal of Pharmacokinetics and Pharmacodynamics. 2024;51(3):187-197. doi:10.1007/s10928-024-09921-y.
- Cloesmeijer ME, Janssen A, Koopman SF, Cnossen MH, Mathôt RAA, for the SYMPHONY consortium. ChatGPT in pharmacometrics? Potential opportunities and limitations. British Journal of Clinical Pharmacology. 2024;90(1):360-365. doi:10.1111/bcp.15895.
- Sale M, Zhao L. Announcement of Machine Learning Benchmarking. PAGE 2025; abstract 11658. Abstract.
- Raimúndez E, Ponce-Bobadilla AV, Stodtmann S, Knöchel J. Shaping the future of AI/ML in pharmacometrics through collaboration, education and best practices. PAGE 2026; abstract 11999. Abstract.
- K-Dense. Scientific Agent Skills [software and preprint]. 2026. Repository; arXiv:2609.00065. README and abstract consulted.
- Anthropic. Equipping agents for the real world with Agent Skills. Anthropic Engineering. 2025 Oct 16. Article.
- Cha HJ, Choe K, Shin E, Ramanathan M, Han S. Leveraging large language models in pharmacometrics: evaluation of NONMEM output interpretation and simulation capabilities. Journal of Pharmacokinetics and Pharmacodynamics. 2025;52(3):34. doi:10.1007/s10928-025-09982-7.
- Certara. ACoP 2026. Event page. Announcement only; performance not evaluated.