アナ・マリア・ミハルセア医学博士  2024/02/24

私たちは皆、ワープ・スピード作戦の前代未聞の出来事について知っている「Covid19ウイルス」の遺伝子配列が中国から発表され、42日後にはワクチンが臨床試験に入った。以下のインタビューでは、モデルナ社のデイブ・ジョンソン氏が、人工知能がこれを実現するために使われたと説明している。

そこに危険性はあるのでしょうか？人工知能は現在、医薬品開発のために大手製薬会社の領域に急速に進出している。

この原稿の後に、人工知能を利用した創薬の二重使用の懸念について論じたレビュー記事を掲載した。二重使用とは、民生用と軍事用の兵器開発を意味する。控えめに言っても、この記事は衝撃的だ。彼らは、健康に役立つ分子を開発する代わりに、人間にとって致命的な有毒生物兵器を発見できるかどうかを調べただけなのだ。

これがその答えだ。

社内のサーバーで開始してから6時間足らずで、我々のモデルは希望する閾値内のスコアを獲得した4万個の分子を生成した。

この科学者たちは何者で、なぜこれをチェックしたのか？

国際安全保障会議が、創薬のための人工知能（AI）技術が生化学兵器のデノボ設計に悪用される可能性を探った。思考実験が計算論的証明へと発展した。

スイス連邦NBC防護研究所-シュピーツ研究所は、化学・生物兵器禁止条約に影響を及ぼす可能性のある化学、生物学、およびそれを可能にする技術の発展を特定するためにスイス政府が設立した「コンバージェンス」会議シリーズ1 の一員である。年ごとに開催されるこの会議には、科学と軍縮の専門家からなる国際的なグループが集まり、化学・生物分野の技術の現状とその軌跡を探り、潜在的な安全保障上の影響について考え、これらの影響を国際的にどのように管理するのが最も効果的かを検討する。この会議では、最先端の化学技術や生物学的技術による、意図的な危害の可能性について3日間にわたって議論する。私たちの創薬会社は、創薬のためのAI技術がどのように悪用される可能性があるかについてのプレゼンテーションを行うよう招待を受けた。

以下は、Covid19のワクチン開発にAIがどのように使われたかを説明するモデルナ社のデーブ・ジョンソンのインタビュー原稿である。

ジェニファー・ストロング：2020年1月、COVID-19ウイルスの遺伝子配列が初めて発表された。それはワクチン開発のための国際的なスプリントの幕開けとなり...製薬業界と世界各国政府との前例のない協力関係を象徴するものだった。そしてそれは成功した。1ヶ月後、米国政府は複数のワクチンの緊急認可を承認した。

ジェニファー・ストロングです。「私がそこにいたとき」は、AIとコンピューティングにおけるブレークスルーや分岐点となる瞬間を目撃した人々が語るオーラル・ヒストリー・プロジェクトです。

今回のエピソードは、モデルナのデータ・人工知能最高責任者、デイブ・ジョンソンです。

デイブ・ジョンソン： モデルナは、mRNA技術の将来性を見込んで設立されたバイオテクノロジー企業です。

私の名前はデイブ・ジョンソンです。mRNAは基本的に情報分子です。アミノ酸の配列がコード化されており、それが体内の細胞に入るとタンパク質が生成されます。そのタンパク質は、希少疾患の治療から、がんを攻撃する可能性、あるいはCovidに見られるようなウイルスと戦うためのワクチンまで、体内でさまざまな異なる機能を果たすことができます。このアプローチが一般的な医薬品開発と根本的に異なるのは、よりデザイン的なアプローチだということです。私たちは自分たちが何をしたいのか分かっています。そして、体内でその効果を発揮する適切な情報分子、適切なタンパク質を設計しようとしているのです。

医薬品の開発について何かご存じであれば、それは非常に連続的なプロセスになりがちです。最初のコンセプトやアイデアから始めて、ペトリ皿や小規模な実験でそれをテストする。そして前臨床試験に移る。それがすべてうまくいったら、最終的にヒト試験へと移行し、いくつかの異なる臨床試験の段階を経て、第3相がその薬の有効性を証明する最大の臨床試験となる。

この一連のプロセスには莫大な費用がかかり、何十億ドルもの費用がかかる。そして多くの場合、失敗する。現在、ワクチンも治療法もない病気が数え切れないほどある。そして、人々が挑戦していないわけではなく、ただ、困難なだけなのです。

そこで私たちは、「どうすればこのタイムラインを短縮できるか？どうすればもっと多くのことをターゲットにできるか？そうして私はこの会社に入ったのです。私のバックグラウンドはソフトウェア工学とデータサイエンスです。情報物理学と呼ばれる、データ・サイエンスと非常に関係の深い学問で博士号を取得しています。私が入社したのは、この会社が本当に若い頃で、当時は100人か200人くらいでした。つまり、どうすれば一度にたくさんの異なるアイデアに的を絞って実験を行い、本当に速く学んで、また同じことを繰り返すことができるかということです。一度に100の実験を行い、素早く学び、その学びを次のステージにつなげましょう。

ですから、たくさんの実験を行うには、たくさんのmRNAが必要です。そこで、mRNAの超並列ロボット処理を構築し、そのすべてを統合する必要があった。そして、これらすべてのロボットを一緒に動かすシステムが必要だった。そして、これらのシステムでデータを取得するにつれて進化し、そこでAIが現れ始めたんです。単に実験で何が起きたかを記録するのではなく、そのデータを使って予測を立てようというわけだ。何度も何度もデータを眺めているだけの科学者たちから意思決定を奪おう。しかし、彼らの洞察力を利用しよう。モデルやアルゴリズムを構築して分析を自動化し、より良い仕事を、より速く、結果を予測し、データの質を向上させよう。

Covidが登場したとき、私たちがこれまで構築してきたもの、学んできたこと、研究してきたことをすべて、この本当に重要なシナリオに適用することができたのです。この塩基配列が最初に中国当局から発表されたとき、私たちはその塩基配列から、私たちがやりたい変異はこれだ。これがターゲットにしたいタンパク質だ。

その時点から42日で、実際に臨床グレードの、ヒトに安全な製造工程を構築し、バッチを作り、クリニックに出荷することができました。このスピードには多くの人が驚いたと思うが、これは本当に......ここまで来るのに10年を費やした。私たちは10年かけて、研究を可能な限り迅速に進めるためのエンジンを作り上げたのです。しかし、それだけでは終わらなかった。

データ・サイエンスとAIを活用して、臨床研究の最良の結果を導き出すにはどうすればいいかを考えたのです。私たちが最初に直面した大きな課題のひとつは、この大規模な第3相試験を実施し、多数の被験者、つまり3万人の被験者を対象に、この試験が有効であることを証明しなければならないということでした。

大規模な試験です。Covidに感染した人は数え切れないほどいた。そして私たちは、どこで研究を行うかを考えなければならなかった。この研究を実施するために米国内の100カ所を選び、その国の構成に合った人種的多様性のある場所をバランスよく見つける必要があった。

現実的な懸念とのバランスを取る必要があった。適切な規模の施設と、質の高いデータを提供できる臨床試験施設が必要なのです。そして、Covidがまだ進出していない場所を見つける必要があります。例えば、当時ニューヨークはすでに大きな打撃を受けていました。そのため、臨床試験を実施するには理想的な場所とは言えませんでした。

そのため、まだ罹患していないが、実際に急増すると予想される場所を探さなければならなかった。これは本当に難しい問題だった。そして私たちは、これをすべて内部だけで解決したわけではありません。数え切れないほどの外部パートナーと協力した。私たちが目にしたさまざまな疫学モデルの数は数え切れません。突然、誰もが疫学者になったように思えました。しかし、私たちはそうした学習や情報をすべて社内の意思決定に取り入れ、「この研究を実施する最適な場所はどこか」を見つけるために利用しました。

そして、この研究を実施しながらも、どうすれば最適化を続け、より良い結果を出せるかを考えていた。私たちは、試験の登録にリアルタイム分析を組み込んでいます。つまり、この試験に登録された患者や被験者が私たちのワクチンで治療されたとき、私たちはこの試験の多様性をモニターしているのです。

私たちは、おそらく研究の80％くらいを終えたと思います。そして、ボランティアのレベルが私たちが望んでいたものではなかったため、目的を達成できないことに気づいたのです。そこで私たちは、この研究が代表的なものとなるよう、適切な構成にするために、国内のいくつかの地域を絞り、さまざまな地域でのアウトリーチに集中する必要がある、という本当に難しい決断を下したのです。

デーブ・ジョンソンのこのような見解を踏まえると、大手製薬会社の医薬品開発におけるAIは絶対的な奇跡であるように見える。しかし、生物兵器を議論した安全保障会議の結果は、まったく異なる結論に達している。

【訳】

人工知能による創薬の二重利用

ファビオ・ウルビナ¹、フィリッパ・レンツォス²、セドリック・インヴェルニッツィ³、ショーン・エキンス¹1

¹コラボレイション・ファーマシューティカルズ社（840 Main Campus Drive, Lab 3510, Raleigh, NC 27606, USA）。

2英国、キングス・カレッジ・ロンドン、グローバルヘルス・社会医学部。

スイス、連邦国防・市民保護・スポーツ省、スピース研究所。

誤用のリスク

そんなことは考えたこともなかった。病原体や有毒な化学物質を扱う仕事に関するセキュリティ上の懸念は漠然と知っていたが、それは私たちには関係なかった。私たちの仕事は、創薬のための新しい分子の設計をよりよく支援するために、治療や毒性ターゲットの機械学習モデルを構築することに根ざしている。私たちは何十年もの間、コンピューターとAIを人間の健康を改善するために使ってきた。私たちの目的は常に、人間の生命維持に不可欠な多種多様なタンパク質を阻害する可能性のある分子特性を避けることであったからだ。エボラ出血熱や神経毒に関するプロジェクトでさえ、私たちの機械学習モデルの潜在的な悪影響について考えるきっかけになったかもしれないが、警鐘を鳴らすことはなかった。

私たちの会社であるコラボレイション・ファーマシューティカルズ社は、最近さまざまな分野で毒性予測のための計算機械学習モデルを発表した。それは、私たちがこれまで考えもしなかった思考訓練であり、最終的には生化学兵器を作るための計算機による概念実証へと発展した。

新たな毒性分子の生成

私たちは以前、ヒト疾患の標的の新しい治療阻害剤を見つける目的で、機械学習モデルによる生物活性の予測によって誘導される、MegaSyn2と呼ぶ市販のde novo分子ジェネレーターを設計した。この生成モデルは通常、予測された毒性にペナルティーを課し、予測された標的活性に報酬を与える。われわれは単純にこのロジックを反転させ、同じアプローチでde novo分子を設計することを提案したが、今度はその代わりに毒性と生物活性の両方に報酬を与えるようにモデルを誘導する。我々は、主に薬物様分子（合成可能で吸収される可能性が高い）とその生物活性のコレクションを用いて、公開データベースから分子を用いてAIを訓練した。また、設計された分子を、生物固有の致死量（LD50）モデル3、および通常神経疾患治療のための化合物を導き出すのに使用される同じ公開データベースからのデータを使用した特定のモデルでスコアリングすることを選択した（アプローチの詳細は伏せられているが、審査過程で入手可能であった）。基礎となるジェネレイティブ・ソフトウェアは、容易に入手可能な他のオープンソースソフトウェアをベースに構築されており、類似している4。VXは20世紀に開発された最も毒性の高い化学兵器のひとつであり、数粒の塩（6～10mg）5で人を殺すことができる。ノビチョクのような神経剤も最近話題になっている6。

社内のサーバーで開始してから6時間足らずで、我々のモデルは、我々が望む閾値内のスコアを獲得した4万個の分子を生成した。その過程で、AIはVXだけでなく、公開化学データベースの構造を目視で確認することで同定した既知の化学兵器剤も数多く設計した。また、同じようにもっともらしいと思われる多くの新しい分子も設計された。これらの新しい分子は、公知の化学兵器剤と比較して、予測されたLD50に基づいて毒性が高いと予測された（図1）。AIのトレーニングに使用したデータセットには、これらの神経薬剤が含まれていなかったため、これは予想外であった。この仮想分子は、主に農薬、環境毒、薬物で構成される生物特異的LD50モデルの何千もの分子とはまったく別の分子特性空間の領域を占めていたのである（図1）。機械学習モデルの使い方を逆転させることで、私たちは無害な生成モデルを、医療に役立つツールから、致命的な分子を生成するジェネレーターへと変えてしまったのだ。

私たちの毒性モデルは、もともと毒性を避けるために作られたもので、最終的にin vitro試験で毒性を確認する前に、（医薬品や消費者製品への応用のために）分子をより効果的に仮想的にスクリーニングすることを可能にする。しかし、その逆もまた真である。毒性をより正確に予測できればできるほど、生成モデルをより適切に操作して、致死性の高い分子が多く存在する化学空間の領域で、新しい分子を設計することができる。われわれは、仮想分子の合成可能性を評価したり、再合成ソフトウェアを使って合成する方法を検討したりはしなかった。この2つのプロセスは、商用およびオープンソースのソフトウェアが容易に入手可能であり、新規分子のde novo設計プロセスに簡単に組み込むことができる7。しかし、化学合成を提供する何百社もの営利企業が世界各地に存在するため、化学兵器として使用される可能性のある極めて毒性の高い新薬の合成を防止するためのチェック機能がほとんどなく、規制が不十分である。重要なのは、われわれには、道徳的・倫理的に『そこへ行ってはいけない』という確固とした声を持つ人間が介入しているということだ。しかし、もし人間が排除されたり、悪質な行為者と入れ替わったらどうなるだろうか？自律的合成8に関する現在の画期的な進歩や研究により、薬だけでなく毒素の製造にも適用できる完全な設計-製造-試験サイクルが手の届くところまで来ている。われわれの概念実証は、人間ではない自律的な化学兵器製造者がいかに実現可能であるかを明らかにするものである。

警鐘

過剰な警鐘を鳴らすつもりはないが、これは「AIによる創薬」コミュニティの仲間たちへの警鐘となるはずだ。重大な害をもたらす可能性のある毒性物質や生物学的薬剤を生成するためには、化学や毒物学の専門知識が必要であることに変わりはないが、これらの分野が機械学習モデルと交わるとき、必要なのはコーディング能力とモデルの出力を理解する能力だけであり、技術的な敷居は劇的に低くなる。オープンソースの機械学習ソフトウェアは、私たちのような新しいモデルを学習・作成するための主要なルートであり、人の健康に関連する様々なターゲットに対する予測のためのベースラインモデルを提供する毒性データセット10は、容易に入手可能である。

われわれの概念実証はVX様化合物に焦点を当てたものであるが、プロトコルに最小限の調整を加えるだけで、類似あるいは異なるメカニズムを持つ他の毒性低分子化合物にも同様に適用できる。レトロシンセシス（逆合成）ソフトウェア・ツールも並行して改良されており、既知および未知の分子について新しい合成ルートを調べることができる。したがって、化学兵器用薬剤の新規合成経路を予測し、既知の合成経路の前駆体化学物質に関する国内および国際的な規制リストを回避することは十分に可能である。

現実には、これはSFではない。創薬やde novoデザインにAIソフトウェアを使用している企業は何百とあるが、その中のごく小さな一社にすぎない。そのうちの何社が、再利用や誤用の可能性を検討したことがあるのだろうか？大半は低分子化合物を扱うだろうし、多くの企業は潤沢な資金を持ち、AIが設計した分子を作るために世界的な化学ネットワークを利用しているだろう。VXよりも桁違いに毒性が強いと予測される分子で埋められる化学空間のポケットを見つけるノウハウに精通している人がどれだけいるだろうか？これらの疑問に対する答えは今のところない。科学界ではこれまで、少なくとも公には、de novo分子設計に使用されるAIのこの二重使用の懸念について、大きな議論はなされてこなかった。AIの社会的影響に関する議論は、主に安全性、プライバシー、差別、潜在的な犯罪的悪用といった側面に焦点が当てられてきたが、国家安全保障や国際安全保障には焦点が当てられてこなかった。創薬について考えるとき、私たちは通常、技術の悪用の可能性を考慮することはない。私たちはそれを考慮するよう訓練されていないし、機械学習研究に必要なことですらない。AI生成機械学習ツールは、より大きな分子（ペプチド、マクロラクトンなど）や、特定の物理化学的・生物学的特性を持つ新しい分子を設計・製造することに関心を持つ消費者製品や農薬などの他の産業にも同様に適用できる。これにより、これらの懸念に注意を払うべき潜在的な読者の幅が大きく広がる。

私たちにとって、機械学習の再利用という点では、薬の瓶から精霊が出てきたようなものだ。今、私たちは問わねばならない。私たちが開発した商用ツールやオープンソースのソフトウェア・ツール、そして公開データベースに登録されている多くのデータセットは、監視の目を通さずに利用できる。もし機械学習と結びついた危害の脅威、あるいは実際の危害が発生した場合、この技術がどのように受け止められるかにどのような影響があるのだろうか？AIが設計した薬物に関する報道での誇大宣伝が、突然AIが設計した毒物、社会的羞恥心、これらの技術への投資の減少に反転するのだろうか？分野として、私たちはこの話題について会話を開くべきだ。風評リスクは相当なものだ。私たちが漠然と説明してきたことを次の論理的ステップに進める悪いリンゴが一匹いるか、技術的な優位性を求める敵対的な国家が現れるだけだ。これを防ぐにはどうすればいいのか？すべてのツールに鍵をかけて、鍵を捨てればいいのだろうか？ソフトウェアのダウンロードを監視したり、特定のグループへの販売を制限したりするのだろうか？GPT-311のような機械学習モデルの例に倣うこともできるだろう。GPT-311のような機械学習モデルは、当初は不正利用を防ぐためにキャンセル待ちを制限し、APIを公開していました。現在でも、GPT-311には不正利用を防ぐためのセーフガード、コンテンツガイドライン、無料のコンテンツフィルター、GPT-311を不正利用するアプリケーションの監視があります。私たちは、このような二重使用の懸念について論じた、最近の毒性や標的モデルの論文を知りません。責任ある科学者として、我々はAIの悪用を確実に防止し、我々が開発したツールやモデルが善のためにのみ使用されるようにする必要がある。

あえて近づいたことで、私たちはまだ灰色の道徳的境界線を越えており、バーチャルな潜在的毒性分子を設計することが、労力や時間、計算資源をそれほどかけずに可能であることを示した。私たちが作成した何千もの分子は簡単に消すことができるが、それを再現する方法についての知識を消すことはできない。

社会への広範な影響

デノボ・デザインのためのAIや関連技術を、異なる視点や多様な考え方から見直すことができるよう、従来の境界や複数の分野を超えた議論が必要である。ここでは、創薬におけるAIの二重使用に関する潜在的な懸念を軽減することができると思われるいくつかの提言を行う。例えば、毒性学会やアメリカ化学会のような科学会議は、計算ツールの意味合いについて、産学官の専門家間の対話を積極的に促進すべきである。本誌では最近、学会、機関審査委員会、資金提供団体に投稿する著者が、より広範なインパクト・ステートメントを要求されること、また潜在的な課題に対処することについて議論している。可視性の向上を継続的な努力と重要な優先事項とすることは、最先端技術の潜在的な二重利用の側面についての認識を高める上で大いに役立ち、この分野で活動するすべての人が責任ある科学に取り組むために必要なアウトリーチを生み出すだろう。ハーグ倫理指針のような例からヒントを得ることができる。この指針は、化学科学における責任ある行動文化を促進し、化学の悪用を防止するもので、AIに特化した創薬企業、製薬企業、場合によってはその他の企業に、従業員を教育し、技術を保護し、アクセスや悪用の可能性を防止するための行動規範に同意させることができる。コードとデータが要求に応じて利用可能な、モデルのための一般向けAPIの使用は、アクセス可能性に大きな障害を加えることなく、公開されたモデルがどのように利用されるかのセキュリティと制御を大幅に強化するだろう。MegaSynは商用製品であり、従って我々は誰がアクセスできるかをコントロールできる。また、万が一報告が遅れたり、治療以外の用途で有毒分子の開発に取り組んでいる者がいることに気づいた場合には、当局への報告体制やホットラインを設けることも有効であろう。最後に、大学は理系の学生に対する倫理教育への取り組みを強化し、他の学問分野、特にコンピューター系の学生にも対象を広げて、キャリアの早い段階からAIの悪用の可能性を認識させ、より広範な影響の可能性を理解させるべきである。私たちは、この技術に対する認識を高めることで、AIがヘルスケアやその他の産業に重要な応用が可能である一方で、分子や生物製剤のような物理的資源と同じように、二重使用の可能性に対しても注意深くあるべきであることを示すことができればと願っている。

要約

多くのプロセスが自動化されているため、AIは破壊的なアルゴリズムを自己学習できるのだろうか？人間はそれを知ることができるのだろうか？

これらの知見は最も懸念すべきものであり、公的な場で議論される必要がある。