PXR・LifeSciBench・AIntibodyの順位は何を示すか

Daiki Kumakura · 2026-11-18 · Technical note · 1.0

2026年に公表された三つの順位の主張(OpenADMET PXRチャレンジ、OpenAIのLifeSciBench、AIntibody)を、盲検、公式の順位表、不確かさ、利害、基準の五つの問いで読み比べ、公表された数値から「1位」「最高」の意味の違いを整理する。

On this page

「1位」は順位表の先頭を指すが、他の方法より確実に優れることまで意味しない。OpenADMET PXRチャレンジ、LifeSciBench、AIntibodyの三例を使い、数値の差と主張の間を調べた。数値は各資料からの転載、派生値は配布した numbers.py による。AIntibody原著とInductive Bioの発表本文は確認できていないため、該当部分の根拠は二次資料に限定する。

読むときに確かめる五つのこと

比べる前に、順位の主張について五つの問いを立てた。

  1. 試験データを、参加者や開発者が見ていないか。(競技形式なら盲検。開発元が全モデルを走らせる評価では、課題が学習データに混入していないかを問う)
  2. 公式の順位表があるか。 第三者が決めた順位か、本人の発表か。
  3. 不確かさが示されているか。 同順位、区間、繰り返しのどれかが示されているか。
  4. 作る人、採点する人、競う人が別か。 採点者の独立性も含む。
  5. 基準があるか。 無作為、単純な方法、人の実験と比べているか。

表1.比較条件の確認範囲。

PXR challenge LifeSciBench AIntibody
1 Test information Hidden test data Developer runs all models; no contamination discussion found in inspected text Designs preregistered; common experimental conditions
2 Official ranking Organizer leaderboard Developer paper table Paper; full text not read
3 Uncertainty Bootstrap-based tiers None found in inspected material Depends on source; see fourth section
4 Separation of interests Organizer differs from entrants Developer created evaluation and participates; disclosed Specifica organizes separately from participants
5 Baselines Leaderboard only Other vendors' models, without Claude Experimental, random and simple methods

PXRチャレンジの順位と不確実性

OpenADMETのPXR誘導の盲検チャレンジ(2026年3月17日〜7月1日)は、活性の予測と構造の予測で順位を競った。活性の予測だけで350人超の参加者、全体で5,500超のエントリーがあった。活性の試験データは513化合物(最初の段階の253と追加の260)で、最終の順位は、参加者に見せない2番目の類縁体セット(Analog Set 2)の結果だけで付けられた。

主催者の公式の投稿によれば、順位は次のように決まる。ブートストラップ(データを重複を許して取り直し、誤差の幅を見積もる方法)と統計検定を使い、1位から順に、「現在のグループの先頭と統計的に区別できる最初のエントリー」で次のグループを始める。100エントリーの全ての対(4,950通り)を比べ、多重比較は、偽発見率(棄却した帰無仮説に占める誤棄却の割合の期待値)を、所定の仮定の下で5%に制御するBenjamini-Hochberg法で補正した。主催者によるこの手順を引用したもので、本記事で全比較を再計算したわけではない (1)。活性の予測は平均絶対誤差(MAE、小さいほど良い)で順位付けされ、上位3件は次のとおりである。

表2.PXR活性予測上位3エントリー。

Rank Entry MAE (reported ± width)
1 matcha-croissant 0.4061 ± 0.0280
2 AIDD-LiLab 0.4092 ± 0.0281
3 AIDD-LiLab-Aggressive 0.4104 ± 0.0282

「±」の定義は、私が読んだ投稿には書かれていなかった(ブートストラップの幅と表示されている)。

第1のグループには28エントリー(順位1〜28)が入っている。 1位と2位のMAEの差は0.0031で、1位の幅0.0280の0.11倍である(results/summary.json)。この比自体は有意差検定ではなく、同順位の判定は主催者の解析による。主催者は、非推移性(AはBと区別できず、BはCと区別できないのに、AとCは区別できる、という状況)のため、下のグループのエントリーが上のグループのエントリーと区別できないこともある、と書いている。

したがって「PXRチャレンジで1位」は、順位表ではその通りでも、「他の27エントリーより正確」とは読めない。同じ表で他のエントリーが順位を名乗る場合も、差の意味は同じである。

Inductive Bioは2026年7月14日付のプレスリリースで、このチャレンジでの勝利を発表したとされる。プレスリリースがあることまでは検索で確認できたが、本文は取得できず、どのトラックで何を指標にした順位かは分からない。私が読んだ公式の投稿には同社の名前がなかった(投稿に載る上位は3件のみ)。主張の当否は、評価できない。

Acelleraは自社のブログ二つ(2026年7月29日付の記事など)で、順位などの比較の主張を「結果の出所が付くまで載せない」と書いている。出所のない主張を載せない、という個別の対応である (2)。

LifeSciBench:開発元による評価

OpenAIが2026年6月17日に発表したLifeSciBenchは、外部の専門家173人が作った750課題で、1課題に平均約25の採点基準(全体で19,020)がある。合格は、基準の点の70%以上を取った課題である。評価は1回きりのやりとり(インターネットの閲覧は可)で、5つのモデルを開発元が実行した。数値はOpenAIのプレプリントの本文と一致した (3)。

表3.LifeSciBenchの公表結果と課題単位の概算区間。

Model Normalized score Pass rate Approximate 95% pass-rate interval
GPT-Rosalind 0.576 36.1% 32.7–39.6%
GPT-5.5 0.519 25.7% 22.7–28.9%
Gemini 3.1 Pro 0.515 23.6% 20.7–26.8%
GPT-5.4 0.479 20.7% 18.0–23.7%
Grok 4.3 0.399 13.0% 10.8–15.6%

区間は、課題を750の独立な標本とみなしたWilson区間(割合の信頼区間の一種)で、課題の抽出による不確かさだけを見た目安であり、検定ではない。5つのモデルを比べる多重比較の補正もしていない。プレプリントは1課題に複数の標本があることを示唆しており、そのときこの区間の単位は合わない。プレプリントに、信頼区間や繰り返し実行のばらつきの記載は、私が読んだ範囲では見当たらなかった。

モデル間の差は、課題ごとの結果が非公開のため、対応のない近似で見積もった。GPT-Rosalind と GPT-5.5 の差は5.8〜15.0ポイント、GPT-5.5とGemini 3.1 Proの差は−2.3〜6.5ポイントである。同じ課題での合否に正の共分散があれば、対応を無視した近似は区間を広くしうる。ただし、課題別の対応表がないため共分散の符号や大きさは確認できず、対応解析でどの差が0を外れるかは確定しない。

利害の面では、プレプリントは「OpenAIが開発し、評価対象にOpenAIのモデルを含む。結果はこの文脈で解釈すべきだ」と明記している。Claudeは評価対象に入っていない。採点は「自動またはモデル補助」とされ、採点モデルは名指しされていない。一方で、課題の検証に独立した専門家453人が関わり、採点の信頼性を専門家の採点との照合(スポット検証)で確かめ、単回対話という限界も書いている。最も合格率の高いモデルでも36.1%だった。課題と採点基準の公開は、ライセンスや安全上の理由で限られる可能性があるとされている。

この種の評価は、開発元が設計し運営した条件での結果であり、独立した再現があるまでは、「一つの条件での開発元の評価」と読む。利害関係の開示は評価条件を理解する手掛かりになるが、成績をどの程度補正すべきかまでは分からない。

AIntibody:盲検で設計された評価でも見出しは数字より強い

AIntibodyは、IQVIA傘下のSpecificaが設計した盲検の抗体設計の評価で、設計は2024年に結果の前に公開された。29機関から511の設計が集まり(別の資料は33チーム)、各チームは課題ごとに14日間、最大10配列を提出でき、全配列が同じ条件で合成・測定された。原著はNature Biotechnologyに掲載された(Crossrefのオンライン出版日は2026年8月19日、紹介記事と企業発表は8月26〜27日) (4)。論文本文は取得できなかったので、以下は解説記事、ニュースレター、企業のプレスリリースによる。独立した紹介記事とニュースレターは、原著とは別の二次資料として扱う (5, 6)。三つの課題があった。

表4.AIntibody三課題の二次資料による結果。

Challenge Secondary-source result
1 Affinity maturation Best AI 94.7 pM versus experimental phage maturation over approximately 3 months, 113 pM; commentary calls them statistically indistinguishable. A statistical consensus baseline ranks 3rd, 540 pM.
2 Affinity ranking Models beat selecting the most abundant clone in 9.8–13.8% of cases; the newsletter reports random selection beating models in 39%, but the precise interpretation of 39% is unresolved from the inspected source.
3 De novo CDR design Best affinity 2.9 pM fails developability; best passing result 8.69 pM versus experimental 9.2 pM. Nonbinding submissions: 30.4%.

ここでpM(ピコモル毎リットル)は解離定数に使う濃度単位で、同じ測定条件では小さい解離定数が高い親和性に対応する。94.7 pMは113 pMより約16.2%小さい(113 pMは94.7 pMの約1.19倍、results/summary.json)。これは解離定数が16.2%低いという計算であり、一般的な「結合力が16%強い」という量ではない。測定のばらつきや再測定の情報は、読んだ資料に書かれていなかった。課題2と3、コンセンサス基準の数字は、一つのニュースレターに頼っている。

課題1で最良とされた企業(Aureka)のプレスリリースの見出しは「AIの設計が最良の実験結果を上回った」である。本文は94.7 pMと113 pMを並べ、同社が課題1で1位、2位、5位、課題2で3位、課題3で9位だったと書くが、統計的な有意性、区間、再測定のばらつきには触れていない (7)。独立した解説(ニュースレター)はこの結果を「引き分け」と書き、別の解説は、計算による設計が分野全体で実験の方法を上回ったわけではない、と書く。同じ数字が、見出しでは「上回った」、独立した解説では「区別できない」と読まれている。区別できないことは、同等性を検証したこととは異なる。

課題2は、「AIが順位付けできる」という主張に対し、無作為な選択という基準との比較を含んでいる。AIの評価に、無作為と単純な方法を基準として置いたことが、この評価の長所だと私は考える。

順位と性能差の解釈

  • 盲検と公式の順位表は必要だが、十分ではない。 PXRとAIntibodyはどちらも備えているが、PXRの「1位」は28エントリーが先頭と区別できず、AIntibodyの課題1は16%の差で、独立した解説は区別できないと書いている。不確かさが付いて初めて、順位は意味を持つ。
  • 同順位の明示は、出す側の仕事である。 OpenADMETは、検定とグループ化を主催者が行った。LifeSciBenchは、私が読んだ範囲では区間を出していない。
  • 基準の強さが、主張の強さを決める。 AIntibodyの無作為の選択とコンセンサスの基準は、複雑な方法を使う付加価値を確かめる比較になっている。無作為な基準が、あらゆる課題で最も強い比較対象になるわけではない。LifeSciBenchの基準は、他社のモデルだけである。
  • 発表の文面は、表より強くなりやすい。 AIntibodyの課題1では、企業の見出しが、表の数字と独立した解説の読みより強かった。これは一例で、一般化はしない。

三例とも、順位の序数だけでは、その差がどの程度確かか、どの対象へ移るかまでは定まらなかった。

限界

  • AIntibodyの論文本文(Nature Biotechnology)は取得できなかった(認証が必要)。数値は二次資料によるもので、原文と照合していない。
  • LifeSciBenchは、OpenAIのプレプリントの本文を読んだが、採点モデルの名前、課題の公開の有無、複数標本の扱いは確認できなかった。
  • Inductive Bioのプレスリリース本文は取得できず、その主張の当否は評価していない。
  • LifeSciBenchの区間は、課題の抽出だけを見た概算で、モデルの繰り返しや採点のばらつきを含まない。
  • PXRの順位表は上位3件しか読んでいない。28エントリーの数も主催者の記載の転載である。
  • 三つの例は、私が選んだもので、代表性は主張しない。X・掲示板での反応は読めていない。

データとコードの公開状況

数値の出典と資料の確認範囲はsources.md、派生値の計算はnumbers.pyとresults/summary.jsonに記録した。

参照

  1. OpenADMET. It's the end of the PXR challenge as we know it (and I feel fine). 2026 Jul 3. Organizer report.
  2. Acellera. An AceProp submission to the PXR Blind Challenge. 2026 Jul 9. Challenge report; Evaluating AceProp on public Polaris benchmarks. Benchmark report.
  3. OpenAI. LifeSciBench. Preprint. 2026 Jun. Full preprint.
  4. Erasmus MF, Bedinger D, Hopkins E, Ferguson G, Strickler J, Graff CP, et al. A blinded, prospective benchmark of in silico antibody discovery anchored to experimental affinity and developability. Nat Biotechnol. Published online 2026 Aug 19. doi:10.1038/s41587-026-03238-6. Full text not read.
  5. Nani D. An AI-designed antibody matched months of lab work in the first blinded test of its kind. Sovereign Magazine. 2026 Aug 27. Commentary.
  6. The Signal. Bio/Health: Week of Aug 31, 2026, edition 3. 2026 Sep 1. Newsletter.
  7. Aureka Biotechnologies. Nature Biotechnology: Aureka wins the global blinded AI antibody benchmark: AI design surpasses the best experimental result. Press release. 2026 Aug 26. Syndicated release.

All articles