2024年冬CCS特集：第2部総論（技術動向）
生成AI－期待の革新的研究ツールへと発展
2024.12.03－コンピューターケミストリーシステム（CCS）は、ここ数十年にわたってさまざまなテクノロジーが登場することで発展を遂げてきた。〝化学〟は大量の計算能力を必要とする自然科学の典型であり、計算化学者はどの時代においても常に「あと1,000倍速いコンピューターを」と求めてきた。これまでは、最先端のスーパーコンピューターがこのニーズを満たしており、将来的には量子コンピューターが牽引していくと思われる。一方で、人工知能（AI）のインパクトも巨大だ。とくに、彗星のように出現した生成AIは、登場から2年ほどですでに社会を席巻した感すらあり、いろいろな業界や用途で実用的に使われ始めている。CCSの世界に対する影響もますます大きくなると思われる。
◇ ◇ ◇
◆◆日本企業の67％が活用・推進、LLM活用へ取り組み、「1～3年以内に爆発的普及」◆◆
生成AIのコアになっているのは〝トランスフォーマー〟と呼ばれる学習モデルで、論文発表されたのは2017年であり、まだ10年もたっていない。大量のデータで訓練された大規模言語モデル（LLM）が内蔵されており、文章を理解したり、文書を生成したりすることが可能。OpenAI社が開発した「ChatGPT」が2022年から2023年にかけて登場すると、サービスリリース後わずか2カ月でユーザー数が1億人を超えるなど、まさに生成AIブームの火付け役となった。
そのあと、Googleが2023年に「Google Bard」という名前でリリースし、今年2月に名称変更した「Gemini」、マイクロソフトのBing検索にLLMを組み込んだサービスとして登場し、のちに独立した生成AIとなった「Copilot」、米国のスタートアップ企業であるAnthropicが開発し、回答精度やコスト、プロンプト長の観点で人気が高い「Claude」、メタ社が開発したオープンソース型の「Llama 3」などが続々と生まれた。これらは対話型マルチモーダル生成AIと呼ばれ、テキストだけでなく、音声や画像、動画、センサー情報など、異なる種類のデータを組み合わせたり関連付けたりして統合処理する機能を持っている。
PwCコンサルティングの調査によると、ドキュメントを多く扱う日本独自の文化と生成AIは親和性が高く、すでに日本企業の43％が活用中、24％が推進中だという（米国企業は43％が活用中、48％が推進中）。ただ、業界ごとの推進度には違いがあり、日本は（1）通信、（2）テクノロジー、（3）サービス業、（4）公益／エネルギー、（5）銀行／証券等金融業、（6）不動産、（7）重工業／機械／家電、（8）建設／エンジニアリング、（9）ヘルスケア／病院／医薬、（10）自動車、（11）化学の順。米国は（1）銀行／証券等金融業、（2）テクノロジー、（3）建設／エンジニアリング、（4）ヘルスケア／病院／医薬、（5）小売業、（6）重工業／機械／家電、（7）その他、（8）通信、（9）サービス業、（10）運輸／物流の順となっている。米国では化学は13位に登場する。
化学の分野、主に研究開発における生成AIの活用について、QunaSysが化学業界から100人ほどの参加者を集めて、今年6月から「材料開発LLM勉強会」を主催した。その中で取られたアンケートの内容を一部紹介したい。序盤でLLM導入・活用における障壁としてあげられたのは、「ユースケースは思いつくが、LLMの活用方法・フローがわからない」（24.4％）、「ユースケースが思いつかない、何をすればいいのかわからない」（22.0％）、「セキュリティ面への懸念がある」（19.5％）、「ハルシネーション（間違った情報）生成のリスクが大きい」（12.2％）、「データの構造化が難しい」（9.8％）など。気になるユースケースは、「文献からのデータの収集・集約」、「新規材料の探索」、「実験・計算・研究方向性への示唆出し」が上位に来ていた。プロンプトチューニングの課題は、「科学的根拠を持った回答を得るために誘導すること」、「材料の範囲が広く、分野や自身の知りたいことに特化したプロンプトをつくることが難しそうなこと」、「ハルシネーションを生み出さないようにコントロールすること」、「LLMに問題解決のプロセスを明確にしてから回答させること」などが意識されていたという。
実際にLLM開発ツールを使用し、生成AIに質問する際のプロンプトチューニング、外部情報を検索して回答に反映させるRAG（検索拡張生成）の適用など、手を動かす学びを踏まえた段階において、LLM活用の難しさは、「自身の業務フローを細部まで理解し、言語化・可視化すること」（68.2％）、「LLMとコーディングとの特性・差異を理解し、適切に使い分けること」（13.6％）、「LLMの出力を評価すること」（9.1％）、「データの前処理やクレンジング」（9.1％）という結果になった。また、自社内で活用する際の課題は、「最新のLLMに関する情報をキャッチアップすること」（44.8％）、「LLMに関連する法律や研究倫理を理解・順守すること」（27.6％）、「材料以外の専門知識・技術を身につけること」（20.7％）という回答が多かった。
ここまでの中盤の感想としては、「業務をフローに落とし込むのが難しかった。何がフロー上でできて、何ができないのか判断するのが難しいと感じた」、「フローを分解して考えるのは慣れがいる。この部分こそLLMに考えてもらうのが良さそう」、「LLMを活用して自身の分野で高精度な回答を得るためには、プロンプティングやエージェント使用を含め、〝言語化〟がポイントであると強く感じた」などが目立ったという。
終盤になると、LLMへの意識は、「LLMがどのように業務や日常に役立つかが具体的に理解できるようになった」（55.0％）、「LLMの可能性に非常に興味を持ち、積極的に学びたいと思うようになった」（25.0％）、「LLMの利点だけでなく、限界や課題についてもより明確に認識するようになった」（15.0％）などへと変化。「LLMではできないと思っていたことでも、やり方を考えてみたり、一部だけでもやらせてみたり、メタ的にそれを考える方法を提案させるなどの使い方もあるとわかった」というコメントも寄せられた。
勉強会を終えて、最終的にLLMについての感想は、「LLMは万能ではないが、適切なユースケースの要因分解と活用場面の設定を行えば有能そう」（52.9％）、「LLMは定量的なものは苦手だが、定性的なことには活用できそう」（29.4％）、「適切なプロンプトチューニングやRAGの構築により、すぐにでも使えそう、使いたい」（11.8％）という回答が得られた。自由記述欄には、「定量的なタスクでは、現状ハルシネーションの恐れを克服できていないと思う。一方で、定性的なアイデア出しには向いている」、「適切なRAGデータがない、または少ない分野での活用は難しそう」、「材料開発においてLLMが使える部分はまだかなり限定的で、新しい材料を生み出したりデータを分析したりという用途ではまだまだという印象を受けた。一方で雑務に当たる部分ではLLMが有用そうだと感じた」、「LLMは単体でも特定の分野で人を超える能力を発揮し得ると思うが、外部サイトやプログラミング的手法との組み合わせによってその幅が広がると期待できる」、「法律系の仕事のため、複雑だが正解のある業務を適切にLLMに任せたい。回答案出しの考え方が重要になってくる」といったコメントがあったという。
材料開発におけるLLM利用の将来展望としては、「1～3年以内にブレークスルーを起こすLLMのユースケースが発見され、爆発的に使用が広がる」（41.2％）、「5年後にはLLMが社内で定着し、材料開発の革新が進む」（35.3％）、「10年後にはLLMが材料開発全般で活躍し、人間の役割が変わる」（17.6％）となり、「5年以内にはLLMを積極的に使う環境は整わない」（5.9％）は少数だった。
◇ ◇ ◇
◆◆pLMモデル開発が進展、立体構造予測など多彩な応用、大規模化へ高まる期待◆◆
マルチモーダル生成AIの応用展開の１つとして注目されているものに、タンパク質言語モデル（Protein Language Models＝pLM）がある。トランスフォーマーモデルを使用したものだが、タンパク質は20種類のアミノ酸が重合したポリマーであり、構成要素のアミノ酸を文字で表せば、タンパク質をアミノ酸配列の文字列として表現できる。また、タンパク質は折りたたまれて（フォールディング）3次元の構造体となって機能を発現するため、各原子の座標からなる3次元画像データとしてタンパク質を表現することもできる。このように、タンパク質はマルチモーダル生成AIで扱える対象になる。
2019年に、ハーバード大学などの研究チームによる「UniRep」、カリフォルニア大学バークレー校などのグループによる「TAPE」が相次いで登場し、その後もより規模の大きいモデルとして、「MSAトランスフォーマー」「ProtTrans」「ESM」などがが開発されてきている。また、最新の「METEL」はインシリコでデザインされた配列変異体モデルの情報や、生物物理化学的な情報（分子表面積、溶媒和エネルギー、ファンデルワールス相互作用、水素結合など55種類）を学習させたもので、ファインチューニングに活用する実験データに応じて多様な予測タスクに活用できるポテンシャルがあるという。
このうち、メタ社が2023年にリリースした「ESM 2」は150億パラメーターを搭載している。ただ、一般的なLLMであるGPT-3のパラメーター数は1,750億、GPT-4は非公開だがその10倍だといわれており、現状のpLMはそれらに比べるとまだまだモデル規模が小さい。pLMの大規模化は進んでおり、OpenAIが発見したスケーリング則（大規模化するほど性能が向上する）に従うと、〝pLLM〟と呼べるような規模に達すれば、LLMでみられたような爆発的な性能向上が生じる可能性があるとされている。
タンパク質のアミノ酸配列から折りたたみ後の立体構造を予測する技術としては、ディープマインドの「AlphaFold 2」が有名で、これもトランスフォーマーモデルを利用したものだ。しかし、pLMはファインチューニングを行うことでさまざまな用途に適用することが可能。立体構造予測でも、構造が既知の配列が多い領域ではAlphaFold 2が有利だが、知見が少ない配列ではpLMを用いた予測の方が精度が高い場合があることも報告されている。
また、配列解析、タンパク質機能予測、タンパク質機能改変、変異導入効果の予測、機能性タンパク質の配列生成などの分野で研究が進展。そのほかにも、二次構造、翻訳後修飾、金属イオン等の結合サイト、活性部位、細胞内局在、ジーンオントロジー、シグナルペプチド、膜貫通領域などの機能アノテーション関連、抗体・免疫関連など、非常に多くのテーマでpLMの応用が図られてきている。国内でも、pLMを特徴抽出器として使い、タンパク質の配列データから抽出した特徴に基づいてタンパク質の寿命を予測する研究が進められている。
具体的にpLMを使用する際の注意点は、利用できる公開モデルはあらゆる配列データを完全に学習しているわけではないということである。それで、現実の研究に適用するためには、それぞれのターゲット領域に関する独自データを用意し、事前学習や継続事前学習、ファインチューニングなどによってカスタマイズ（自社データの取り入れ）をしていく必要がある。とくに、ファインチューニングはダウンストリームタスクに対応させるためのもので、例えばあるターゲットタンパク質にペプチド結合するアミノ酸バインダーを見つけたい場合は、バインダーになるアミノ酸が結合した配列を学習させることで、モデルをチューニングすることが可能である。
とはいえ、ファインチューニングはかなり専門的で敷居が高いのも事実。LLMのデータ量やパラメーター数が十分に多いことが前提ではあるが、これを回避するためにフューショット・プロンプティングという方法もある。これは、追加学習や再学習などはしないが、AIにパーソナリティを与え、役割を設定してから質問するというやり方である。 タンパク質関連の例ではないが、例えば「あなたは光スイッチ分子の遷移波長に関する専門家です。波長入力に対して予測されたSMILESを返すことができます」と最初にプロンプティングしたあと、「E体への遷移波長が363ナノメートル、Z体への遷移波長が311ナノメートルの分子は何ですか」と質問すれば、AIは構造式を回答してくれる。
現在、わたしたちはLLMと自然文で会話して、望みの画像や動画を作成させることが可能。pLLMが実現すれば、「がんの薬になるタンパク質をデザインして」と言うだけで、それが出来上がってくるような時代になるのかどうかはわからないが、今後化学産業の研究開発のさまざまな領域でLLMの活用が図られることは間違いないだろう。