役員SNS
強化学習のエキスパートが完全自動運転実現に挑む理由
【動画編】
ゲームAIの頂点を極めたGTソフィー開発者が“完全自動運転”に挑む理由。 / チューリング 社員インタビュー
※本インタビューはインタビューを編集して作成したものです。
WEBエンジニアから「強化学習」の世界へ踏み出したキッカケ
インタビュアー： 妹尾さんのこれまでのキャリアについて教えてください。
学生時代は、WEBエンジニアを目指していました。大学の学部3年生くらいまで、Wantedlyなどのベンチャー企業に入って、WEB開発に熱中していましたね。Wantedlyの裏側のシステムや、機能などを作っていました。当時は「今後もこの分野で生きていくんだろうな」と考えていました。
大きな転機は大学4年時の研究室配属でした。そこで初めて強化学習や機械学習に出会ったんです。研究開発の世界に触れていくうちに、「誰も作ったことのないプロダクトを作りたい」という思いが日に日に強くなっていきました。既存の技術を組み合わせる側面の強いWEBエンジニアリングの世界ではなく、新しい領域にチャレンジしたいと思うようになったんです。ちょうどその頃、機械学習が非常に注目され始めていた時期でもありましたし、この分野は研究要素が非常に強いので、より研究開発寄りのプロダクトに関わりたいと考えるようになりました。
ただ、WEBエンジニアとしてエンジニアリングの基礎を築けたのは、今振り返ると本当に大きかったと思います。特に、プロダクトを形にするためのコーディングスキルや、テストを書く文化などは、今の研究開発にも活きていますね。
インタビュアー： 機械学習の中でも、特に強化学習を選んだのはなぜですか？その分野に足を踏み入れた具体的なきっかけがあれば教えてください。
当時、DQN（Deep Q-Network）という、深層強化学習を世界的に流行させた初期の手法があったのですが、それを自分で動かして遊んでみた時のことです。古いゲームですが、DQNが自分で学習していくと、どんどん上手にプレイできるようになっていくんですよ。
それまで一般的な機械学習では、画像認識のように大量のデータを与えて学習させる、というアプローチが主流でした。例えばゲームであれば、人間のプレイデータを与えて、それを真似するように学習させる、といった形ですね。しかし、強化学習は違いました。
本当にAIが自分でゲームをプレイしながら、自分でどんどん経験を積み重ねて、自律的に賢くなっていく。人間が一切データを与えないのに、AIが勝手に賢くなっていく姿を目の当たりにした時、「これは未来っぽいな」と感じました。これまで見たことのないものだ、と。その瞬間に、強化学習に完全に魅了され、深く没入していきました。
ソニーとの運命的な出会いと「GTソフィー」誕生秘話
インタビュアー： 妹尾さんは新卒でソニーに入社しています。ソニーとの出会いについて、少し詳しく伺ってもよろしいでしょうか？
ソニーとの縁は、実は私が幼い頃にまで遡ります。父がソニー社員だったこともあり、家にはソニー製品が溢れていました。そして、特に印象深かったのが、銀座にあったソニービル（現：ソニーパーク）に親が連れていってくれた思い出です。
今はソニーパークという名前になっていますが、昔はショールームで、地下にはロボットがいて、上には最新の家電が並び、最上階にはPlayStationで遊べるコーナーがありました。幼い頃の私にとって、そこはまさに「夢の空間」だったんです。最新の技術が詰まった製品や、自由に遊べるPlayStationなど、子供心に「世の中にないもの」を創り出すソニーという会社に、特別な憧れを抱きました。父も、昔のウォークマンのプロセッサーなどを開発していた半導体系のエンジニアなので、幼い頃から技術の話を耳にする機会も多かったですね。
インタビュアー： その後、大学院でソニーR&Dのインターンシップに参加し、新卒で入社しています。インターンシップから入社までの話を教えてください。グランツーリスモ・ソフィー（GTソフィー※）の開発に携わるキッカケはいつあったのですか？
※GTソフィーとは：
GTソフィーは、当初「机の下プロジェクト」と呼ばれる、予算もリソースも限られた非公式なプロジェクトとしてスタートしました。これはソニー社内でよく使われる言葉で、メインのプロジェクトではないけれど、社員が個人的な興味で、上司に見せる前に進捗を作っておくような、いわば「秘密のプロジェクト」のようなものです。
最初は小規模で、私とスイス人のインターン生の2人が主なメンバーでした。具体的な開発環境は、PlayStation 4数台とデスクトップPC1台という構成で、文字通り「机の上に置ける」くらいの規模でしたね。大規模なクラスター環境などはなかったので、コツコツと研究を進めていきました。そこで国際論文に採択されたことがキッカケで、GTソフィーのプロジェクトが通称フラグシッププロジェクトと呼ばれる大きなものになります。当時はちょうどコロナ禍で、直接社内の反応を見る機会は少なかったのですが、この論文がきっかけで、プロジェクトは一気に大きくスケールアップしました。
それまで2人体制だったプロジェクトは、瞬く間に20人規模のソニーAIにおけるフラッグシッププロジェクトへと発展したんです。世界各国から博士号を持つ精鋭たちが集結し、まさにドリームチームが結成されました。突然、グローバルな環境で、周りはみんな博士号を持っているという、日本ではなかなか経験できないようなチームに身を置くことになりました。この論文がなければ、今の私のソニーでのキャリアはなかったでしょうね。私がソニーAIに正社員として入社できたのも、このプロジェクトがフラッグシップになったことで、雇ってくれた人が私のことを推薦してくれたからです。ソニーAI初の日本人新卒博士としての入社は、私自身も非常に光栄でした。
そして2022年には世界最高峰の科学雑誌「Nature」に論文が掲載され、人間よりも速いラップタイムで走れるAIエージェントの実現を証明できたんです。
GT Sophyが表舞台に出るその裏では
インタビュアー： 「GTソフィー」は「Nature」掲載後、最終的には一般ユーザー向けのゲームに実装されました。純粋な研究段階から、実際に製品として世に出るまでのプロセスで、特に印象的だったことや、苦労された点はありますか？
最初の2年間は、純粋にトッププレイヤーと戦えるAIを作ることにフォーカスしていました。これはある意味、研究者としての自由な発想で、最高の性能を目指す期間でしたね。しかし、いざプロダクトとして世に出すとなると、そこに「ゲームとしてのこだわり」という、また別のレイヤーが加わってきます。ゲーム開発は単なるエンジニアリングだけでなく、アーティストの感性や、プレイヤーが没入できるような「人間らしい」AIの動きが求められるんです。
ゲームスタジオの方々は、「人間だったらこういう動きはしない」「AIが速ければいいというものではない」といった、彼らが思い描く理想のAI像を持っていたんです。例えば、AIがコースを完璧にトレースしすぎてしまったり、人間にはできないようなラインを通ったりすると、「それはゲームとして面白くない」「リアルではない」といったフィードバックが来ます。
私たち研究者は強化学習の専門家ですが、向こうはレースゲームのアーティストなので、使う言葉も視点も異なります。彼らが言っていることの真意を理解し、それをAIの学習プロセスにどう落とし込むか、毎週のようにスタジオに足を運び、フィードバックをもらいながらAIの動きを微調整していく日々でした。
インタビュアー： 優秀な人材に囲まれながら、さまざまな仕事を進める中で、論文投稿などもしていました。妹尾さんが当時意識していたことはありますか？
チームは非常に機能的な組織構成だったので、その中でいかに自分の存在意義を示すか、ということは常に意識していました。先ほども話したように、ソニーAIのチームは、非常に経験豊富なディレクターがチームを機能ごとに細かく分けて、問題解決を構造的に進めていました。例えば、「タイムトライアルで最速を目指すチーム」「対戦相手がいる時に追い抜く学習をするチーム」「スポーツマンシップを守る報酬関数を考えるチーム」などですね。これは非常に効率的な進め方で、20人規模の博士号を持つメンバーがバラバラに研究するよりも、はるかに大きな成果を生み出すことができました。
その中で私が意識していたのは、「机の下」で何か新しいものを生み出すことでした。チームのメインタスク以外で、これは面白い、これはやるべきだと自分が正しいと思ったことは、まず周りに言わずに自分で始めてみるんです。そして、それがうまくいった時に初めてチームに提案する。
例えば、インターン生と一緒に論文を書いたりしたのもその一環です。本業の時間だけでは難しいことも、プラスアルファの努力で新しい価値を生み出す。そうすることで、組織の中でいい意味で目立ち、アピールをするよう意識していました。
インタビュアー： 製品化の過程で、技術的な面での苦労もあったかと思います。特に、研究段階とプロダクト段階での技術的な橋渡しで大変だったことは何ですか？
技術的な面でも多くの挑戦がありました。GTソフィーは、2022年に「Nature」で発表された後、2023年2月には期間限定で製品化されました。最も大変だったのはインテグレーション、つまりゲームプロダクトに組み込む作業でした。私たちのAIはTensorFlowというライブラリで学習させていたのですが、PlayStation上ではソニー製の深層学習ライブラリ「nnabla（ナブラ）」で動かす必要がありました。この変換作業が非常に泥臭く、苦労しましたね。単純に変換するだけではなく、nnablaの都合のいい形に最適化する必要があったり、ゲーム内の情報をモデルに加工して入れる必要があったりしました。
また、研究開発段階ではPythonで書いていたものを、最終的にはC++で動かさなければならないので、そのポート（移植）作業も自分たちでやる必要がありました。ユニットテスト環境を整備したり、Pythonで書いたものとC++で書いたものがきちんと一致しているかを検証したりするなど、細かい作業が山のようにありました。
しかし、ここでもウェブエンジニア時代に培ったエンジニアリングの基礎が非常に役立ちました。ウェブ開発ではユニットテストをしっかり書く文化が根付いていますから、その経験が製品としてリリースできるレベルのテスト環境を担保する上で大いに生かされましたね。
インタビュアー： 様々な苦労を乗り越えて、最終的に「GTソフィー」が製品として世に出た時、どのような気持ちになりましたか？妹尾さんにとって、一番嬉しかった瞬間はいつでしたか？
一番嬉しかったのは、やはり「Nature」に論文が掲載されたタイミングですね。これはなかなか経験できることではないですし、しかも表紙になったというのは本当に光栄なことでした。そして、製品化が実現した時も、もちろん嬉しかったです。家庭用ゲーム機としては世界で初めて、深層強化学習エージェントをゲームに組み込んだ事例ですから、歴史的な瞬間でした。
ただ、個人的な正直な気持ちを言うと、「できた！やった！」という喜びよりも、「あ、ちゃんとできた…よかった…」という安心感の方が実は大きかったんです。「Nature」の時も、「負けたら論文出せないぞ」というプレッシャーがすごくて、なんとか勝って、ちゃんと世に出せてよかった、という安心感が大きかったですね。人生を振り返っても、何か大きな挑戦を成し遂げた時、私は常にこの「安心感」を強く感じることが多いです。博士号を取得した時も、「ちゃんと終わった」という安心感が大きかったですね。
チューリングに惹かれるキッカケになったCTOの発信
インタビュアー： ソニーAIでの大きな成功を収めた後、チューリングへの転職を決意された理由について教えてください
ソニーAIでは、デジタル世界における強化学習エージェント開発において、自分がやりたかったことはやりきった、という達成感がありました。そろそろ新しいチャレンジを探したいと考えていたんです。元々、ロボットや実世界でのAIに強い興味があったので、デジタル世界から物理世界へと、活躍の場を広げたいという思いがありました。
そんな時に、たまたま年末にチューリングのCTOである山口さんの記事を目にしたんです。記事の内容は、会社が倒産寸前の危機から資金調達に成功したというものでしたが、その記事を読んで「なんて面白いことをしている会社なんだろう！」と強く惹かれました。それが、チューリングに話を聞きに行くきっかけとなりましたね。
インタビュアー： 記事を読んだ後、実際にチューリングのオープンオフィスに参加され、多くの社員の方々と話されたと伺っています。その中で、チューリングへの入社を具体的に意識し始めたきっかけはありましたか？
オープンオフィスで様々な社員の方々と話す中で、チューリングの魅力に深く触れることができました。そこで感じたのは、技術力の高さです。非常にチャレンジングな目標を掲げているのですが、それを単なる無謀な挑戦ではなく、高い技術力を持って真剣に取り組んでいると感じました。次に、人材の質ですね。本当に優秀な方が揃っていて、この人たちと一緒に働けたら楽しいだろうな、と感じました。そして、何よりも驚いたのは計算資源の規模です。
インタビュアー： オープンオフィスでは、CTOの山口さんともお話されたと伺っていますが、特に印象に残っている言葉やエピソードはありますか？
山口さんとの会話は非常に印象に残っています。オープンオフィスの最初の日にお話ししたのですが、山口さんが言っていたんです。「自分たちは自動運転の研究開発をしていますが、ずっとアクセルを踏んでいます。ブレーキを踏んだことは一度もありません」と。会社が潰れそうになっても、ひたすらアクセルを踏みっぱなしで、どんな困難に直面しても立ち止まらない、と。その言葉を聞いて、「ああ、これこそスタートアップらしい勢いだな」と感じました。そういう、熱くなれる環境を求めていたので、チューリングは理想的な場所だと確信しましたね。
また、体験入社で山本一成さんと話した際に「自動運転に自然言語は本当に必要なのか？」という問いかけをされたんです。
自然言語には表現できることに限界がある。例えば、道路の状況を見た時に、それを全て自然言語で表現しきることは難しいですよね。だから、自然言語が本当に正しい表現なのかは分からない、という彼の視点に、ハッとさせられました。自分では考えもしなかったようなことを、彼は考えているんだなと。非常に印象的な会話でした。
完全自動運転実現への思い
インタビュアー：とはいえソニーへの思いもひと一倍強いからこそ、転職の意思決定は悩んだのではないでしょうか？
正直非常に悩みました。ソニーではいろんな人や機会に恵まれました。もともと「GAFAを超える会社を日本から生み出したい。それができるのはソニーだ」という思いがありました。そんな中でこの数年間必死に頑張ってきたので、ソニーで引き続き頑張る道も真剣に考えたんです。
一方で、これからの5年、10年間を考えた時に世の中に与えるインパクトの大きさ、今の環境で頑張り続けることと、チューリングで完全自動運転の夢を達成させることを比較してどちらが自分をより満足させてくれるのかを考えた結果、チューリングを選んだのです。
インタビュアー： そうだったんですね。そんな妹尾さんがチューリングで今後進めたい取り組みを教えてください。
強化学習は思った以上に強力な技術です。基本的に、強化学習で解ける問題設定に持ち込めば、もう基本的には終わりだと思っています。例えば「GTソフィー」もそうですし、最近話題のChatGPTのような大規模言語モデルも、強化学習の枠組みを取り入れることで飛躍的に性能が向上しましたよね。強化学習の枠組みに持ち込みさえすれば、非常に強力な性能を持ったモデルが作れる。この原理は、自動運転にも応用できると確信しています。
チューリングではすでに大量のデータを集めていますので、これをうまく活用して、強化学習で解ける枠組みに持ち込みたいですね。現実世界は非常に多様な変数がありますが、基本的にはデータをスケールしていくことで解決できると考えています。ボールが飛び出してくるような、あまり見たことのないデータも、データを大量に集めることで対応できるようになります。
ChatGPTがそうであったように、データとモデルをスケールさせれば、人間が細かくデザインしなくても、賢いAIが生まれてくるはずです。自動運転も基本的には同じアプローチで、データを増やし、それをうまく活用しながら強化学習を進めていけば、いつか完全自動運転はできると考えています。
インタビュアー： 完全自動運転の達成時期について、チューリングは2030年前後という目標を掲げていますが、妹尾さんご自身の野望はいかがでしょうか？
個人的には、もっと早くやりたいですね。何なら2027年か2028年には、本当の完全自動運転車を走らせたいと思っています。
直近の半年間は、強化学習のための「下地作り」に集中する予定です。具体的には、既存のデータセットを使って、3D Gaussian Splattingのような技術を活用して、シミュレーション環境を作ります。もう一つの方向性としては、事前に得られたデータだけで強化学習を行う「オフライン強化学習」という概念があります。これを用いると、通常の機械学習がデータを真似るのに対し、より高い性能が得られる可能性があります。この二軸で進めていき、現在のEnd-to-End（E2E）のチームが取り組んでいるモデルの性能を、飛躍的に向上させることを狙っています。
来年以降は、ここに言語の要素を入れたり、より巨大で複雑なモデルへと拡張していくことも考えていますが、まずはこの半年間で、既存モデルの性能を劇的に引き上げるための強化学習の枠組みを構築することに注力します。ソニーAIでの経験から学んだことですが、機械学習の世界は流れが非常に速いので、長期的な計画を立てすぎると意味がなくなってしまうことがあります。だからこそ、私は今、半年という短いスパンで集中して取り組み、その成果と周りの環境に合わせて、次の半年、あるいは1年間の計画を立てていくのがベストだと考えています。
インタビュアー： 最後に、ソニーAIで得られた経験を踏まえ、チューリングでは何を達成したいですか？
ソニーでは「安心感」を抱くことが多かったですが、チューリングでの挑戦は、まさに「達成感や喜び」を追求するものです。完全自動運転車が、自家用車として世の中に広く普及し、誰もが当たり前のように利用する未来。そのプロダクトが、ちゃんと人に使ってもらえるところまで見届けたいですね。それが実現した時には、「できた！」と心から喜びたいです。
将来的な夢としては、元々興味があったヒューマノイドにも挑戦したいと思っています。自動運転で培った技術は、ヒューマノイドにも応用できると考えているんです。今はビジネスとしてのインパクトを考えて自動運転に注力していますが、その技術を使って、いつかヒューマノイドを動かすことができたら嬉しいですね。もちろん、5年後にヒューマノイドが流行しているかどうかは分かりませんが。もしその時も需要があれば、ぜひ挑戦したいです。
インタビュアー： 妹尾さんのこれまでのキャリアと、チューリングでの今後の挑戦がまさに重なり合うような話でした。本日はどうもありがとうございました。
