「AIシステムの品質」を保証するとは、どういうことか？【後編】　～AIのリテラシーを向上させる使命を背負って

突然だが、“Garbage In, Garbage Out（ゴミを入れれば、ゴミが出てくる）”という言葉をご存知だろうか？これは極端な表現ではあるが、品質の悪いデータをAIに学習させると、不適切な特徴を抽出してしまい、結果として品質の悪いAIモデルが開発されることを戒めている。

前編では、今なぜ「AIの品質」が注目を集めているのかについて触れた。欧州では法規制も始まりつつあり、日本ではそうした時流に遅れまいと企業や研究機関が独自のガイドラインを発表している。こうした中、AI先進企業である東芝が、この課題にどう取り組んでいるのかを本稿で紹介する。今回も解説してくれるのは、東芝でAI品質保証プロジェクトを率いる、ソフトウェア技術センターの久連石氏だ。

「機械学習工学」という新たな学問領域の誕生

第3次AIブームが始まった当初は、AIの社会実装には程遠く研究レベルにとどまっていた。そのため、アカデミアの研究室や企業のラボなどに限定されたAI、つまり研究対象として扱われていた。しかし、AIが製品やサービスとして展開されるようになれば、研究室の中や限られた人たちの間では問題とされなかったことが、社会では問題視されるケースが出てくる。例えば、インプットするデータの偏りによって、結果が左右されるバイアス問題はその典型だ。

株式会社東芝 ソフトウェア技術センター ソフトウェアエンジニアリング技術部　エキスパート 久連石 圭氏

「こうしたAIに関する問題を解決するために生まれたのが、『機械学習工学』と呼ばれる学問領域です。日本ソフトウェア科学会の研究会として、2018年より機械学習工学研究会が発足しています。ここでのテーマは、機械学習の適切な進め方であり、AIを社会のシステムにどう組み込むかを体系化することです」

この頃から世界的にAIシステムの品質保証が重要課題となり、日本では、久連石氏もメンバーであるQA4AIコンソーシアムが、「AIプロダクト品質保証ガイドライン」を発表。他にも、産業技術総合研究所が「機械学習品質マネジメントガイドライン」を公開するなど、それぞれの視点で自主的に品質への取り組みを進めている。また、欧州委員会では2021年に欧州AI規則法案^※を発表した。

※正式名称は「人工知能に関する整合的規則（人工知能法）の制定および関連法令の改正に関する欧州議会および理事会による規則案」

こうした動きについて久連石氏は「新しいテクノロジーが出てきたら、法律で規制するのが欧州の方針です。これに対して日本では、いきなりの法制化はなじまない。今のところ、企業内もしくは業界内でルールを決めて取り組むという方針が主流です」と日欧の違いを解説する。

AIの品質は、データの「量」と「質」がポイント

AIは、そもそもデータに基づいて構築される。したがって品質のカギを握るのが、インプットするデータだ。単純なAIの説明は、「過去に集めたデータからモデルを作り、新しいデータに対して判断をする」というもの。しかし、ここで元のデータ「量」が不足していれば、正しい判断はできないし、精度も上げようがない。この場合は、インプットするデータの量の面で品質が問われるわけだ。

そのため、AI活用の要望があっても、十分なデータを揃えられなければ叶わない。今、世界中で課題となっているのが、「どのようにデータを確保するのか」ということだ。国によっては、街中に設置されたカメラから画像を収集するなど大規模にデータを取得している。プライバシーの観点から日本では真似できない方法だが、イノベーションの側面から見るとAIの開発において差をつけられると危惧する研究者は少なくない。

さらにデータのあり方、すなわち「質」も重要になる。いくら多くのデータを集められても、捉えたい事象の一部しか表していなければ意味がない。例えば、顧客全体の行動を予測したいのに、特定の年齢層のデータをAIに学習させても意味は薄いだろう。どういうデータを集めるか、質も問われるのだ。

AIに学習させるデータを更新し、品質を守る

少し視点を変えよう。AIの品質を考える上では、時間軸も大事になる。AIとは、過去のデータを元に開発されるモデルだと述べた。当然ながら、AIが社会実装された後どのようなデータが社会で生まれるかは予測不可能である。つまり、社会は変化し続け、そこで生まれるデータも変わるが、「過去を基準として行われる将来予測が、どれだけ正確なのか」となってしまう。

この課題に対して、東芝では「MLOps（Machine Learning Operations）」という仕組みで対応している。これは、AIを運用しながら、最新のデータで再学習させるものだ。具体的には、①様々な環境でAIを運用しながら、②その状況をモニタリングし、想定外の事象が起これば、③そのデータをAIに再学習させる。つまり、社会の実態に合わせて自動的に改良し続け、軌道修正しながらパフォーマンスを保つわけだ。

AIの品質を維持・向上するMLOpsの仕組み

またAIといっても、これを活用した製品やサービスは多種多様である。そんな中で東芝のAIは、交通、電力など社会インフラに搭載されることが圧倒的に多い。その点について、久連石氏は、東芝ならではのAI品質についてこう語る。

「社会インフラに適したAIというのは、長期間の安定した稼働を意味します。万が一止まったり、不具合が起こったりしたら、社会に負の影響を与えてしまいます。高い品質は私たちにとって必須であり、当たり前ともいえます。ですから、パフォーマンスだけではなく、安定性とのバランスも重視しながら、社会インフラとして求められる精度を追求し、信頼性のあるAIを評価し、開発しているのです」

AIシステムの品質は「高くて当たり前」を、技術で支援

100年以上にわたって社会インフラに携わり、支えてきた東芝。蓄積された経験知やノウハウが、脈々と伝承されている。そうした知見から生まれた技術が、AIの「品質可視化」「テスト」「品質評価」だ。

東芝は、AI搭載システム品質保証ガイドラインを土台に、品質可視化、テスト、品質評価の技術を磨く

「品質可視化」とは、AIを導入する際、専門家ではない顧客に理解してもらいやすくする技術だ。なぜならAIの品質を維持・向上するには、その特徴を正確に把握して、専門家でなくても使いこなす必要があるからだ。そのため、学習したデータと構築したAIモデルの特徴を、定型のカードにまとめ、AIの生成した結果を、定性的・定量的に可視化する。この技術により、顧客はAIを感覚的に理解できる。

また「テスト」とは、要求仕様を満たしているかを確認する技術だ。ただし、従来のソフトウェアとは異なり、AIには設計図がないため独自のテスト手法を構築する必要があり、学習するデータやモデルに対するAIならではの観点が重要になる。

そして「品質の評価」では、データ品質とモデル品質に注目する。具体的には、AIに学習させたデータが必要な範囲をカバーしているのか（被覆性）、学習時以外のデータでもAIが適切に作動するか（頑健性）を検証する。東芝では、具体的なテスト手法や評価技術の開発が急ピッチで進められている。

「AIは間違え得る」ことを考えた安全性の設計

ここまで見てきたようにAIの品質は、それ自体に意味がある上に、活用時に影響を及ぼす重大な要件だ。例えば、医療現場でAIによる画像診断を行うケースを思い浮かべてほしい。品質の高さ、つまり正解率の高さが重要であることはいうまでもない。ただし、医療は人命に関わるため、同時に安全性の考慮も必要だ。それは、「AIは間違える」ことを前提に設計することである。

場合によっては、AIが途中で診断を止め、医師に判断を委ねるようプログラムする。もしくは、クルマの自動運転でも、特定の状況下ではAIによる判断を中断し、人が操作する選択肢も用意するといった、「AIと人間の判断を組み合わせる」こともAIを活用する方法の一つなのだ。

「品質に対する考え方は、競争領域ではなく前提です。『品質が高いから売れる』のではなく、『品質が担保されていなければ売れない』という捉え方です。そのため、関係者で情報交換をしながら、品質を向上する必要があると考えています。こういった観点で、機械学習工学研究会で品質可視化の技術を発表したところ多くの注目をいただき、ニーズの高さを感じました。

AIの品質は、セキュリティと考え方が似ていますね。守られているのが当たり前で、守り方に差が出る。どこに脅威があるのかを共有し、社会全体で品質を向上していく問題だと思います」

AIを活用し、社会をよりよい場所にするためにも、その品質を担保することは重要である。システムに搭載されたAIが社会の失望を招かず、ネガティブな気持ちを起こさせない。ポジティブな動きとしてどんどん活用される社会になること。それが、東芝の願いであり、使命だ。

「私自身はAIそのものの開発に関わっているわけではありません。しかし、品質保証として縁の下の力持ちになる。品質の側面から、しっかり支えていきたいです」と、久連石氏は力強く思いを語ってくれた。