『あなたを支配し、社会を破壊する、AI・ビッグデータの罠 (WEAPON OF MATH DESTRUCTION )』という本を読みました。現代のビッグデータ社会における問題点を数学者の目線から指摘をしています。アメリカの社会で様々な有害なアルゴリズムにより人々が知らぬ間に不利益を被っている事実を知ることができました。
これはアメリカだけで収まらないかもしれません。この記事の最後に示したように、そのようなアルゴリズムは日本でも大きな影響を持ち始める可能性があります。
この本はニューヨークタイムズベストセラーに選ばれ、その他多くのベストオブブック2016に選ばれています。著者はキャシーオニール（Cathy O’Neil）という女性のデータサイエンティストです。ハーバード大学で数学の博士号を取得し、バーナードカレッジ教授を経て金融の世界に入りました。彼女はそこでリーマンショックを経験し、システマティックな世界の脆弱な部分を痛感してヘッジファンドを後にしました。
世界は”自己永続的で有害なフィードバックループを生み出す中途半端な統計学や偏見に満ちたモデル”に汚染され、そのモデルに囚われてしまっていることに気付いた彼女は、この現状を是正しようと試み、この本を書いたそうです。
このような有害なモデルこそこの本のテーマである数学破壊兵器（Weapon of math destruction）です。因みにこの英語のタイトルにもなっているWeapon of math destruction とは大量破壊兵器 Weapon of mass destruction に掛けている造語です。現在ブームのAIを代表とする今日のデータ社会では数学破壊兵器が数多く出現して、人々は知らない間に不利益を受けています。
数学破壊兵器は公正さ、公平さよりも効率、利便性、収益性を重要としています。信頼性の低い情報から人をカテゴリーに分類し、その分類により人を評価します。しかし、その仕組みは不透明で、アルゴリズムのフィードバックが行われない場合、修正がされにくくなっています。
修正が行われないアルゴリズムは効率性、収益性から使われ続けます。そして拡大していきます。そしてその有害なフィードバックループにより急速に成長し、さらに大きく有害な影響をもたらします。これが数学破壊兵器の特徴です。
この本ではアメリカの数学破壊兵器による例が多数紹介されています。しかし、これはアメリカでは個人情報の扱いが「オプトアウト」方式に従っているということに留意しなければいけないと思います。
オプトアウト方式とは個人情報について問題が起きてから事後的対応をするという形であり、基本的に個人の権利よりも産業の振興を優先しているアメリカらしいやり方です。これは欧州の個人情報の考え方である「オプトイン」方式とは異なり、欧州では個人情報の使用について事前に同意を得ます。
つまり、様々な個人情報が収集され、ほかの目的などに再利用されやすいアメリカでは、この数学破壊兵器による個人の分類が行われやすいということです。ここで気になるのは日本の個人情報の扱いだと思います。この本ではアメリカについてにしか触れられていなませんが、日本では基本的には欧州的な「オプトイン」方式に従い個人情報が扱われています。だからと言って安心していてはいけません。
日本では最近「特定加工情報」という個人が特定できないように加工処理して匿名化することを条件に本人の同意なしに個人情報の第三者提供や目的外利用が可能になる「オプトアウト」方式の情報利用が部分的に認められるようになってきているということも知っておくといいでしょう。
オプトイン方式とオプトアウト方式では産業の振興や個人の権利の保護などメリットデメリットがあります。この本を読んだことで数学破壊兵器の忍び寄る可能性も個人情報の扱いについての議論で考慮されるべきだと思います。
ついこの前、NHKニュースで「信用スコア」についての記事が出ていました。買い物の履歴など個人のデータを分析してその人の信用力を数値化し「信用スコア」として融資などのサービスに活用する動きが広がり始めているということらしいです。
通信アプリ大手のＬＩＮＥはことし、利用者数7800万のメッセージアプリのデータを基に算出した信用スコアを活用して融資を行うサービスに乗り出します。
（中略）
またＮＴＴドコモはことし３月から、携帯電話料金の支払い履歴や利用状況などを基に個人の信用スコアを算出し、金融機関などに提供するサービスを始めます。
NHK NEWS WEB ”あなたの信用力は？「信用スコア」 活用広がる” (2019年1月6日)
とあります。これはまさに数学破壊兵器になる可能性を秘めているのではないでしょうか。
代理データにより信用スコアを作り出すアルゴリズム。そこには正当性がどこまであるのでしょうか。信用スコアで良い評価を出せなかった人は、契約などの様々な場面で不利益を被り、それにより貧しくなり、さらに信用スコアを落とすようになる。そんな本で紹介されたアメリカの例のような悪循環の可能性を持っているのかもしれません。
色々なことを述べてきましたが、これからのビッグデータをはじめとする情報化社会を生きる私たちはこの本を読むべきだと思います。特にデータサイエンティストやエンジニアなどのアルゴリズムを使いデータを処理する人は、この本の数学破壊兵器の存在を認識し、常に意識をしてアルゴリズムを作る必要があることを分からなければ、将来的に自らの首を締めることになるかもしれないと思いました。 AIの忍び寄る危険をこの本の数学破壊兵器のような視点で考えたことがなかったので、とても良い本だと思います。おすすめです。
将来の世界が数学破壊兵器に支配されてないことを願って。
私たちは効率を求めて自分たちの首を絞めないようにしなくてはいけません。
