予測が介入に変わるとき
予測は、まだ起きていない出来事についての記述に見えます。需要、離職、事故、疾病、返済。将来を正確に読めれば、限られた人員や資金を適切に配れる。そのため予測モデルは、まず精度で評価されます。多くの組織はまだ、導入後に精度が上がれば未来をよりよく読めたことになる、と考えます。しかし人員、融資、支援、監視を配った瞬間、予測は対象から独立した観測ではなくなります。より正確な枠組みは意思決定の循環です。予測は資源を動かし、その資源がつくり助けた世界に対して採点されます。問題は、未来を正しく読めたかだけではありません。どの未来を起こしやすくしたかです。
この循環への入り方は一つではありません。需要が高いと見た地域へ在庫を増やせば、販売機会そのものが増える。人員を厚くした地区では、困窮が記録に入りやすくなる。離職しそうだとされた人から重要な仕事を外せば、残る理由が変わる。介入は対象そのものを変える。観測は測れる量を変える。応答は人の理由を変える。三つを一つの循環に畳むと、精度がどこで自分の正しさを作っているかを見誤ります。
自分の証拠をつくる循環
架空の自治体が、相談件数の予測に基づいて生活支援員を地区へ配分するとします。昨年件数が多かった地区には支援員が増え、少なかった地区には届きにくい。これは実在する制度の描写ではありません。ここで先に変わるのは困窮そのものより、困窮を発見できる能力です。次のモデルが新しい記録を学習すると、支援を多く配った地区には需要が多く見える。相談件数を需要と呼ぶことは、すでに意味の決定です。「自動化の前に、意味を」が扱う問題が、ここでも起きます。意味が検査可能でなければ、次のモデルは曖昧さを取り除くのではなく、配分の前提に変えます。モデルは、自らが関与して生まれたデータを、外部世界から得た証拠として再利用します。
観測の経路では、予測が外れた場合だけが危険なのではありません。配分後の世界では高い精度を保ちながら、別の配分なら発見できた需要を永続的に見落とせます。見られなかった未来には正解ラベルが残らない。介入なら、自らつくり出した結果を的中として数える。応答なら、自ら変えた行動を確認として数える。実現した未来への適合と、選び得た未来の比較は同じではありません。
世界が応答した後の精度
導入後の精度には、モデルが世界を捉えた効果と、世界をモデルに合う形へ変えた効果が混ざります。後者は、介入、観測、応答のどれが動いたかで中身が違います。分けずに精度向上だけを報告すると、制度は自分の影響を自分の正しさとして数えます。「学習する会社をつくる」は、意思決定、権限、実行、観測された結果が接続されて初めて組織は学ぶ、と置きました。戻ってくる結果が配分の産物なら、その接続は学習を閉じません。介入の記憶を閉じます。
予測が意思決定を支えるとき、当てようとしている分布自体が変わり得ます。この現象は performative prediction として定式化されています。[1] 再学習は、自らが動かした現実へ次のモデルを適合させる作業でもあります。安定した予測へ収束しても、その安定が望ましい社会状態を意味するとは限りません。予測的警察活動の数理モデルは、発見された犯罪が次の入力となり、真の犯罪率にかかわらず同じ地域へ警察が送られるフィードバックを示します。[2] この研究を他の制度へそのまま一般化することはできません。しかし精度が、世界を読んだ結果ではなく、世界を見えるようにした結果を数え得るという構造は、そこで明確になります。
予測が観測に近く保たれるとき
すべての予測が、採点される対象を大きく変えるわけではありません。短時間の降雨予測は雨を降らせません。採点しているのが降水量そのものなら、介入の経路は空に近い。だが同じ予報は外出や購買を変えるので、別の量を採点すれば応答の経路は残ります。十分に大きな市場の一参加者による需要予測も、市場全体の対象、観測、応答をほとんど動かさない場合があります。通常の精度評価が観測として残るのは、採点している量について三つの経路がすべて弱いときです。
介入があっても、目的が明確で、結果を比較でき、誤りを後から戻せるなら、予測はなお有用です。故障確率に応じて点検を優先することは、その条件に近い。限られた医療資源を緊急度で配ることは、目的は明確でも、見落とした側の損失が不可逆なことがあります。それは予測を捨てる理由ではなく、配分後の精度を独立した未来の観測として数えない理由です。三つの経路が弱く、効果が可逆なら、精度を中心に置ける。大きく自己強化的なら、別の評価が必要です。
配分のあとの観測装置
自己強化する予測には、失われた比較対象を回復する設計が要ります。どの予測がどの配分を変えたかを記録し、精度と同時にアクセス、発見率、回復を測る。予測から独立した配分で、観測が失ったラベルを探すこともできる。だがそれは無料の測定ではない。見落としを知るために、誰かへの配分を薄くすることです。薄く扱うこと自体が害なら、識別可能性をその人から買うことはできません。許されないとき、残る比較は、選別を精密にすることと、選ばれる機会そのものを広げることです。[3] 予測を改善することが常に最善とは限りません。
配分する予測は、未来を観測しているのか。採点している量について、介入も観測も応答も弱いときに限り、観測に近く保たれます。どれかを動かしたなら、答えは否です。精度は独立した未来の読み取りではなく、意思決定の循環の記録です。「AIエージェント時代の人間の権限」が述べるように、権限は最後の承認ボタンでは残りません。引き受けるべきは、モデルが当たったという報告ではなく、どの証拠を採用し、どの配分を不可逆にしたかです。その未来は予測されていたから起きたのか。別の未来が起こり得る余地を、組織は残したのか。
注記
- Juan Perdomo, Tijana Zrnic, Celestine Mendler-Dünner, and Moritz Hardt「Performative Prediction」Proceedings of Machine Learning Research 119, 2020。https://proceedings.mlr.press/v119/perdomo20a.html
- Danielle Ensign, Sorelle A. Friedler, Scott Neville, Carlos Scheidegger, and Suresh Venkatasubramanian「Runaway Feedback Loops in Predictive Policing」Proceedings of Machine Learning Research 81, 2018。https://proceedings.mlr.press/v81/ensign18a.html
- Juan Carlos Perdomo「The Relative Value of Prediction in Algorithmic Decision Making」Proceedings of Machine Learning Research 235, 2024。https://proceedings.mlr.press/v235/perdomo24a.html