思考の連鎖を促す
Chain of thoughtを理解する
プロンプトエンジニアリングについて語るときに欠かせない技術が思考の連鎖(Chain of thought;Cot)です。
Cotは幅広く活用できる技術であるためFew-ShotプロンプティングやLeast-to-mostプロンプティングとも大きく関係しています。
(当然ですが)はじめから重複も漏れも無く体系化されているわけではないので、テクニック同士が競合・重複していることはよくあります。あまり気にしないでください。
| 日時 | このページで使用した生成AI |
|---|---|
| 2024/1/24 | ChatGPT(GPT-3.5) |
Chain of thoughtをざっくり理解する
Cotは数値計算タスクの回答精度を上げるテクニックとして注目されました。
Cot発表時と比べてLLMの精度は大きく向上しましたが、今でも数値計算タスクは苦手とされています。
このグループの奇数を合計すると偶数になります。: 15、32、5、13、82、7、1。
与えられた数の合計を計算しましょう。
15 + 32 + 5 + 13 + 82 + 7 + 1 = 155
合計は155です。この合計は奇数です。したがって、与えられたグループの奇数を合計しても奇数になります。
合計や奇数・偶数の判定結果は正解ですが、「このグループの奇数を合計する」という要件は満たしていません。
そこで思考の過程をプロンプトに追加してみます。
このグループの奇数を合計すると偶数になります。: 4、8、9、15、12、2、1。
A: 奇数を全て加えると(9, 15, 1)25になります。答えはFalseです。
このグループの奇数を合計すると偶数になります。: 17、10、19、4、8、12、24。
A: 奇数を全て加えると(17, 19)36になります。答えはTrueです。
このグループの奇数を合計すると偶数になります。: 16、11、14、4、8、13、24。
A: 奇数を全て加えると(11, 13)24になります。答えはTrueです。
このグループの奇数を合計すると偶数になります。: 17、9、10、12、13、4、2。
A: 奇数を全て加えると(17, 9, 13)39になります。答えはFalseです。
このグループの奇数を合計すると偶数になります。: 15、32、5、13、82、7、1。
A:
奇数を全て加えると(15, 5, 13, 7, 1)41になります。答えはFalseです。
このように思考の過程をプロンプトに明記することで、生成AIはグループ内の奇数を正しく選択・合計し、「このグループの奇数を合計すると偶数になります。」という命題に回答(False)を返しました。ここでは「プロンプトと回答のセットをいくつか例示する」というFew-Shotプロンプティングも使用されています。なお一つも例示しないプロンプトはZero-shotプロンプティングと呼ばれています。
現時点では、そもそも生成AI(LLM)が苦手とする数値計算は従来の計算機に任せ他方が良いかもしれません。
Least-to-mostプロンプティングは大きなタスクを小さなタスクに分解する技術です。
実はChatGPT等では既にCotプロンプティング技術が取り入れられています。
Last updated 30 1月 2024, 07:50 +0900 .