AI（人工知能）は、医療現場を含む様々な分野で活用されつつありますが、その中で「大規模言語モデル（LLM）」という技術が特に注目されています。
LLMは、大量のデータを学習し、人間のように言葉を使って複雑な問題を解決する能力を持っています。
その中でも、LLMに「問題を段階的に解決させる」手法であるZero-Shot Chain-of-Thought（Zero-Shot-CoT）が話題です。
しかし、この方法にも改善の余地があり、自動プロンプト探索やPlan-and-Solve Promptingという新しい手法がLLMの精度をさらに高めるために考案されました。
本記事では、これらの手法がどのようにしてLLMの能力を向上させるのか、わかりやすく解説します。
Zero-Shot-CoTとは？：複雑な問題を分解して解決する手法
Zero-Shot Chain-of-Thought（CoT）は、人工知能が複数のステップに分けて問題を解決する手法です。
LLMに「Let’s think step by step」（段階的に考えましょう）という指示を与えることで、LLMは難しい問題でも、段階を踏んで解答にたどり着くことができます。
初心者向けLLMプロンプティング入門：Few-Shot、Zero-Shot、CoTを徹底解説 | デイリーライフAI (daily-life-ai.com)
しかし、Zero-Shot-CoTにはいくつかの課題が残っています。
具体的には、以下の3つの問題があります。
- 計算エラー
LLMが数値を誤って計算することがあります。 - 推論ステップの欠落
複数ステップに分かれた推論の一部が欠ける場合があります。 - セマンティックな誤解（文脈や意味を誤って理解し、適切な解釈ができないこと）
問題の文脈を正確に理解できないため、推論が誤ることがあります。
自動プロンプト探索：AI自ら最適な指示を見つけるアプローチ
自動プロンプト探索では、LLMが複数のプロンプト候補を生成し、それを評価して最も効果的なものを選び出す手法です。
この手法では、AIが自動的に最適なプロンプトを生成し、これに基づいてタスクを解決します。
従来のZero-Shot-CoTでは、手動で作成された「Let’s think step by step」（段階的に考えましょう）という指示文が使われていましたが、LLMが生成した「Let’s work this out in a step by step way to be sure we have the right answer.」（正しい答えを導くために、段階的に解決しましょう）というプロンプトの方がより高い精度を示すことがあります。
実際の研究によれば、数学の問題を解く際に、手動プロンプトでは78.7%の精度だったところ、LLMが自動生成したプロンプトを使うと82.0%にまで精度が向上することが確認されています。
自動プロンプト探索は、複雑な判断が求められる分野、例えば医療分野における情報整理やデータ分析支援などで、今後の活用が期待されます。
（Reference）
Yongcho Zhou et al.(2023), “Large Language Models Are Human-Level Prompt Engineers”, ICLR2023
Plan-and-Solve Prompting：計画立案から実行までをガイドする二段階アプローチ
Plan-and-Solve Promptingは、問題解決を計画立案と実行の二段階に分けて行う手法です。
まず、AIに「問題を理解して計画を立てる」ように指示し、その後「計画に従って解決策を実行させる」ことで、Zero-Shot-CoTで起きやすい推論ステップの欠落や計算エラーを減らします。
Plan-and-Solve Promptingの流れは以下の通りです。
- 計画立案
問題を理解し、解決のための各ステップを明確にする。 - 計画の実行
計画に基づいてステップごとに解決を進め、変数を整理しながら正確に処理を行う。
この方法を用いると、従来の「Let’s think step by step」に比べて、解答精度が向上することが実験で確認されています。
例えば、「Let’s first understand the problem and devise a plan to solve the problem. Then, let’s carry out the plan step by step.」（まず問題を理解し、解決の計画を立てましょう。そして、その計画に基づいて解決しましょう）というプロンプトを使用することで、計算エラーや推論ステップの欠落が大幅に減少しました。
（Reference）
Lei Wang et al.(2023), “Plan-and-Solve Prompting”, ACL2023
まとめ
本記事では、Zero-Shot Chain-of-Thought（CoT）というLLMの問題解決手法と、その改善策である「自動プロンプト探索」と「Plan-and-Solve Prompting」について解説しました。
Zero-Shot-CoTでは段階的に問題を解決できるものの、計算ミスや推論の欠落が課題でした。
一方、自動プロンプト探索では、AIが最適な指示を自動生成し、精度を向上させます。
さらに、Plan-and-Solve Promptingでは、計画を立ててから解決することで、ステップ抜けや計算ミスを防ぎます。
これらの手法は、AIが医療現場でのデータ分析や診断支援に役立つ可能性があり、今後のAI活用に大きな期待が寄せられています。
コメント