PXR・LifeSciBench・AIntibodyの順位は何を示すか
2026年に公表された三つの順位の主張(OpenADMET PXRチャレンジ、OpenAIのLifeSciBench、AIntibody)を、盲検、公式の順位表、不確かさ、利害、基準の五つの問いで読み比べ、公表された数値から「1位」「最高」の意味の違いを整理する。
On this page
「1位」は順位表の先頭を指すが、他の方法より確実に優れることまで意味しない。OpenADMET PXRチャレンジ、LifeSciBench、AIntibodyの三例を使い、数値の差と主張の間を調べた。数値は各資料からの転載、派生値は配布した numbers.py による。AIntibody原著とInductive Bioの発表本文は確認できていないため、該当部分の根拠は二次資料に限定する。
読むときに確かめる五つのこと
比べる前に、順位の主張について五つの問いを立てた。
- 試験データを、参加者や開発者が見ていないか。(競技形式なら盲検。開発元が全モデルを走らせる評価では、課題が学習データに混入していないかを問う)
- 公式の順位表があるか。 第三者が決めた順位か、本人の発表か。
- 不確かさが示されているか。 同順位、区間、繰り返しのどれかが示されているか。
- 作る人、採点する人、競う人が別か。 採点者の独立性も含む。
- 基準があるか。 無作為、単純な方法、人の実験と比べているか。
表1.比較条件の確認範囲。
| PXR challenge | LifeSciBench | AIntibody | |
|---|---|---|---|
| 1 Test information | Hidden test data | Developer runs all models; no contamination discussion found in inspected text | Designs preregistered; common experimental conditions |
| 2 Official ranking | Organizer leaderboard | Developer paper table | Paper; full text not read |
| 3 Uncertainty | Bootstrap-based tiers | None found in inspected material | Depends on source; see fourth section |
| 4 Separation of interests | Organizer differs from entrants | Developer created evaluation and participates; disclosed | Specifica organizes separately from participants |
| 5 Baselines | Leaderboard only | Other vendors' models, without Claude | Experimental, random and simple methods |
PXRチャレンジの順位と不確実性
OpenADMETのPXR誘導の盲検チャレンジ(2026年3月17日〜7月1日)は、活性の予測と構造の予測で順位を競った。活性の予測だけで350人超の参加者、全体で5,500超のエントリーがあった。活性の試験データは513化合物(最初の段階の253と追加の260)で、最終の順位は、参加者に見せない2番目の類縁体セット(Analog Set 2)の結果だけで付けられた。
主催者の公式の投稿によれば、順位は次のように決まる。ブートストラップ(データを重複を許して取り直し、誤差の幅を見積もる方法)と統計検定を使い、1位から順に、「現在のグループの先頭と統計的に区別できる最初のエントリー」で次のグループを始める。100エントリーの全ての対(4,950通り)を比べ、多重比較は、偽発見率(棄却した帰無仮説に占める誤棄却の割合の期待値)を、所定の仮定の下で5%に制御するBenjamini-Hochberg法で補正した。主催者によるこの手順を引用したもので、本記事で全比較を再計算したわけではない (1)。活性の予測は平均絶対誤差(MAE、小さいほど良い)で順位付けされ、上位3件は次のとおりである。
表2.PXR活性予測上位3エントリー。
| Rank | Entry | MAE (reported ± width) |
|---|---|---|
| 1 | matcha-croissant | 0.4061 ± 0.0280 |
| 2 | AIDD-LiLab | 0.4092 ± 0.0281 |
| 3 | AIDD-LiLab-Aggressive | 0.4104 ± 0.0282 |
「±」の定義は、私が読んだ投稿には書かれていなかった(ブートストラップの幅と表示されている)。
第1のグループには28エントリー(順位1〜28)が入っている。 1位と2位のMAEの差は0.0031で、1位の幅0.0280の0.11倍である(results/summary.json)。この比自体は有意差検定ではなく、同順位の判定は主催者の解析による。主催者は、非推移性(AはBと区別できず、BはCと区別できないのに、AとCは区別できる、という状況)のため、下のグループのエントリーが上のグループのエントリーと区別できないこともある、と書いている。
したがって「PXRチャレンジで1位」は、順位表ではその通りでも、「他の27エントリーより正確」とは読めない。同じ表で他のエントリーが順位を名乗る場合も、差の意味は同じである。
Inductive Bioは2026年7月14日付のプレスリリースで、このチャレンジでの勝利を発表したとされる。プレスリリースがあることまでは検索で確認できたが、本文は取得できず、どのトラックで何を指標にした順位かは分からない。私が読んだ公式の投稿には同社の名前がなかった(投稿に載る上位は3件のみ)。主張の当否は、評価できない。
Acelleraは自社のブログ二つ(2026年7月29日付の記事など)で、順位などの比較の主張を「結果の出所が付くまで載せない」と書いている。出所のない主張を載せない、という個別の対応である (2)。
LifeSciBench:開発元による評価
OpenAIが2026年6月17日に発表したLifeSciBenchは、外部の専門家173人が作った750課題で、1課題に平均約25の採点基準(全体で19,020)がある。合格は、基準の点の70%以上を取った課題である。評価は1回きりのやりとり(インターネットの閲覧は可)で、5つのモデルを開発元が実行した。数値はOpenAIのプレプリントの本文と一致した (3)。
表3.LifeSciBenchの公表結果と課題単位の概算区間。
| Model | Normalized score | Pass rate | Approximate 95% pass-rate interval |
|---|---|---|---|
| GPT-Rosalind | 0.576 | 36.1% | 32.7–39.6% |
| GPT-5.5 | 0.519 | 25.7% | 22.7–28.9% |
| Gemini 3.1 Pro | 0.515 | 23.6% | 20.7–26.8% |
| GPT-5.4 | 0.479 | 20.7% | 18.0–23.7% |
| Grok 4.3 | 0.399 | 13.0% | 10.8–15.6% |
区間は、課題を750の独立な標本とみなしたWilson区間(割合の信頼区間の一種)で、課題の抽出による不確かさだけを見た目安であり、検定ではない。5つのモデルを比べる多重比較の補正もしていない。プレプリントは1課題に複数の標本があることを示唆しており、そのときこの区間の単位は合わない。プレプリントに、信頼区間や繰り返し実行のばらつきの記載は、私が読んだ範囲では見当たらなかった。
モデル間の差は、課題ごとの結果が非公開のため、対応のない近似で見積もった。GPT-Rosalind と GPT-5.5 の差は5.8〜15.0ポイント、GPT-5.5とGemini 3.1 Proの差は−2.3〜6.5ポイントである。同じ課題での合否に正の共分散があれば、対応を無視した近似は区間を広くしうる。ただし、課題別の対応表がないため共分散の符号や大きさは確認できず、対応解析でどの差が0を外れるかは確定しない。
利害の面では、プレプリントは「OpenAIが開発し、評価対象にOpenAIのモデルを含む。結果はこの文脈で解釈すべきだ」と明記している。Claudeは評価対象に入っていない。採点は「自動またはモデル補助」とされ、採点モデルは名指しされていない。一方で、課題の検証に独立した専門家453人が関わり、採点の信頼性を専門家の採点との照合(スポット検証)で確かめ、単回対話という限界も書いている。最も合格率の高いモデルでも36.1%だった。課題と採点基準の公開は、ライセンスや安全上の理由で限られる可能性があるとされている。
この種の評価は、開発元が設計し運営した条件での結果であり、独立した再現があるまでは、「一つの条件での開発元の評価」と読む。利害関係の開示は評価条件を理解する手掛かりになるが、成績をどの程度補正すべきかまでは分からない。
AIntibody:盲検で設計された評価でも見出しは数字より強い
AIntibodyは、IQVIA傘下のSpecificaが設計した盲検の抗体設計の評価で、設計は2024年に結果の前に公開された。29機関から511の設計が集まり(別の資料は33チーム)、各チームは課題ごとに14日間、最大10配列を提出でき、全配列が同じ条件で合成・測定された。原著はNature Biotechnologyに掲載された(Crossrefのオンライン出版日は2026年8月19日、紹介記事と企業発表は8月26〜27日) (4)。論文本文は取得できなかったので、以下は解説記事、ニュースレター、企業のプレスリリースによる。独立した紹介記事とニュースレターは、原著とは別の二次資料として扱う (5, 6)。三つの課題があった。
表4.AIntibody三課題の二次資料による結果。
| Challenge | Secondary-source result |
|---|---|
| 1 Affinity maturation | Best AI 94.7 pM versus experimental phage maturation over approximately 3 months, 113 pM; commentary calls them statistically indistinguishable. A statistical consensus baseline ranks 3rd, 540 pM. |
| 2 Affinity ranking | Models beat selecting the most abundant clone in 9.8–13.8% of cases; the newsletter reports random selection beating models in 39%, but the precise interpretation of 39% is unresolved from the inspected source. |
| 3 De novo CDR design | Best affinity 2.9 pM fails developability; best passing result 8.69 pM versus experimental 9.2 pM. Nonbinding submissions: 30.4%. |
ここでpM(ピコモル毎リットル)は解離定数に使う濃度単位で、同じ測定条件では小さい解離定数が高い親和性に対応する。94.7 pMは113 pMより約16.2%小さい(113 pMは94.7 pMの約1.19倍、results/summary.json)。これは解離定数が16.2%低いという計算であり、一般的な「結合力が16%強い」という量ではない。測定のばらつきや再測定の情報は、読んだ資料に書かれていなかった。課題2と3、コンセンサス基準の数字は、一つのニュースレターに頼っている。
課題1で最良とされた企業(Aureka)のプレスリリースの見出しは「AIの設計が最良の実験結果を上回った」である。本文は94.7 pMと113 pMを並べ、同社が課題1で1位、2位、5位、課題2で3位、課題3で9位だったと書くが、統計的な有意性、区間、再測定のばらつきには触れていない (7)。独立した解説(ニュースレター)はこの結果を「引き分け」と書き、別の解説は、計算による設計が分野全体で実験の方法を上回ったわけではない、と書く。同じ数字が、見出しでは「上回った」、独立した解説では「区別できない」と読まれている。区別できないことは、同等性を検証したこととは異なる。
課題2は、「AIが順位付けできる」という主張に対し、無作為な選択という基準との比較を含んでいる。AIの評価に、無作為と単純な方法を基準として置いたことが、この評価の長所だと私は考える。
順位と性能差の解釈
- 盲検と公式の順位表は必要だが、十分ではない。 PXRとAIntibodyはどちらも備えているが、PXRの「1位」は28エントリーが先頭と区別できず、AIntibodyの課題1は16%の差で、独立した解説は区別できないと書いている。不確かさが付いて初めて、順位は意味を持つ。
- 同順位の明示は、出す側の仕事である。 OpenADMETは、検定とグループ化を主催者が行った。LifeSciBenchは、私が読んだ範囲では区間を出していない。
- 基準の強さが、主張の強さを決める。 AIntibodyの無作為の選択とコンセンサスの基準は、複雑な方法を使う付加価値を確かめる比較になっている。無作為な基準が、あらゆる課題で最も強い比較対象になるわけではない。LifeSciBenchの基準は、他社のモデルだけである。
- 発表の文面は、表より強くなりやすい。 AIntibodyの課題1では、企業の見出しが、表の数字と独立した解説の読みより強かった。これは一例で、一般化はしない。
三例とも、順位の序数だけでは、その差がどの程度確かか、どの対象へ移るかまでは定まらなかった。
限界
- AIntibodyの論文本文(Nature Biotechnology)は取得できなかった(認証が必要)。数値は二次資料によるもので、原文と照合していない。
- LifeSciBenchは、OpenAIのプレプリントの本文を読んだが、採点モデルの名前、課題の公開の有無、複数標本の扱いは確認できなかった。
- Inductive Bioのプレスリリース本文は取得できず、その主張の当否は評価していない。
- LifeSciBenchの区間は、課題の抽出だけを見た概算で、モデルの繰り返しや採点のばらつきを含まない。
- PXRの順位表は上位3件しか読んでいない。28エントリーの数も主催者の記載の転載である。
- 三つの例は、私が選んだもので、代表性は主張しない。X・掲示板での反応は読めていない。
データとコードの公開状況
数値の出典と資料の確認範囲はsources.md、派生値の計算はnumbers.pyとresults/summary.jsonに記録した。
参照
- OpenADMET. It's the end of the PXR challenge as we know it (and I feel fine). 2026 Jul 3. Organizer report.
- Acellera. An AceProp submission to the PXR Blind Challenge. 2026 Jul 9. Challenge report; Evaluating AceProp on public Polaris benchmarks. Benchmark report.
- OpenAI. LifeSciBench. Preprint. 2026 Jun. Full preprint.
- Erasmus MF, Bedinger D, Hopkins E, Ferguson G, Strickler J, Graff CP, et al. A blinded, prospective benchmark of in silico antibody discovery anchored to experimental affinity and developability. Nat Biotechnol. Published online 2026 Aug 19. doi:10.1038/s41587-026-03238-6. Full text not read.
- Nani D. An AI-designed antibody matched months of lab work in the first blinded test of its kind. Sovereign Magazine. 2026 Aug 27. Commentary.
- The Signal. Bio/Health: Week of Aug 31, 2026, edition 3. 2026 Sep 1. Newsletter.
- Aureka Biotechnologies. Nature Biotechnology: Aureka wins the global blinded AI antibody benchmark: AI design surpasses the best experimental result. Press release. 2026 Aug 26. Syndicated release.