創業メンバー塩塚から見たTokyo30のこれまでとこれから

End-to-End自動運転開発を進めるうえで、データ量のスケールは重要なイシューです。チューリングではデータのスケールアップの面で多くの課題にぶつかりました。今回はその問題解決のためのアプローチをチームのリーダーである塩塚さんに聞きました。

Tokyo30スタートから、機械学習が一周回るまで

インタビュアー： 社内外で話題となっているTokyo30プロジェクトはいつ頃から始まったのでしょうか？

塩塚さん： Tokyo30プロジェクトは、2024年4月から開始しました。プロジェクト開始当初は、そもそもデータ収集車両すらありませんでした。車両を仕立てるところからスタートで8〜10人ほどのチームで取り組んでいました。

プロジェクト初期フェーズにカメラの取り付け位置決めで苦労したことを覚えています。他社の公開情報を徹底的に調べ、仮の取り付け位置を決めるなどして進めていきました。車両側のエンジニアからは「何メートル先まで見えていた方がいいのか」といった具体的な仕様を求められたのですが、経験がないので分かりません。

そこで、仮で撮影した動画を細かく確認し「今何メートルの信号が見えている」といった情報を頑張って作成しました。最終的には、車両のプロであるエンジニアと現場で議論を重ねながら、今のカメラ位置に落ち着きました。カメラ取り付け一つをとっても、正解が分からない中で進めることの難しさを痛感した良い経験になりました。

インタビュアー： その後、モデル開発のタイムラインとしては、昨年の4月にスタートして機械学習を一周回すようになったのはいつ頃ですか？また、どんな点が大変でしたか？

塩塚さん：約8ヶ月ほどで、機械学習のサイクルが一周回るようになりました。2024年の11月頃までクローズドなテストコースで開発を行い、2025年の1月頃から公道での開発を始めました。機械学習を一周回す上で大変だったのはハードウェアが絡む点です。

データを取り始めるところから同じチームで担当し、カメラ8台やLiDAR、自己推定モジュールなど多数のセンサーを扱いました。タイムスタンプの問題などハードウェア特有の課題があり、それを車に組み込むのが一苦労でした。

また、収集したデータを学習可能な形にする作業も非常に大変でした。我々が作成したデータセットは「JADD（Japan Autonomous Driving Dataset）」と呼んでいますが、これはアカデミックでよく使われるnuScenesというデータセットに互換性を持たせています。互換性を持たせたことで、既存の最先端モデルを我々のデータで学習できるため、高いレベルに早く到達することができました。このJADDの構築は構想から半年ほどかかりましたが、非常に良かった点だと考えています。

インタビュアー： 機械学習のサイクルが回り始めた後、性能の変化を実感できたフェーズはどのタイミングでしたか？

塩塚さん： 最初に変化を実感したのは公道に出る前の机上検証のみで評価していた時でした。データを増やせば増やすほどモデルの性能が良くなるという傾向が顕著で「どんどんデータを追加していこう」という雰囲気でした。しかし、そのモデルをテストコースや公道に出すと机上ではTokyo30を達成できそうに見えたモデルが、実車では車線を大きくはみ出したり、前の車に止まらなかったりといった状態でした。

制御を担当していたチームが問題をシンプルにするために単一号車単一ドライバーでの検証を開始しました。モデルもよりシンプルな構造のものを使うようにし、軌跡の教師データを正確に作成する方法やモデルが汎化するためのデータ収集方法を見出しました。また、モデル構造の改善も継続的に行い、その結果として、レーン追従などの基本的な運転性能を着実に上げることができるようになりました。スケールアップチームはこのモデルをさらに大きなデータにスケールすることに注力することにしました。

データスケールの際に潜んでいた壁とチーム発足の背景

インタビュアー：その後、データのスケールは順調に進んでいったのですか？

塩塚さん：いいえ。そうではなかったです。当時、稼働している車両は10台弱あり、単純に1人よりも10人でデータ収集に行った方が10倍の速度でデータが取れる、つまり10倍の速度でモデルが賢くなるのではないかという期待がありました。

実際に10人体制でデータ収集を行い、集めてきたデータをまとめて学習を始めたのですが、いい結果は出ませんでした。個々の車両から得たデータで良いモデルができていたとしても、それを混ぜたら性能が全くダメになってしまったんです。

これを受けて、さまざまな改善を重ねた結果、データを混ぜて増やせば増やすほど、モデルが非常に賢くなるという状態になりました。例えば、右折時に前の車が行くのを待ってから曲がる、急な割り込みにも減速して入れてあげる、といった人間のような賢さが現象として見られるようになってきました。これは本当に大量のデータがあるからこそ実現できることで、最近はスケールアップを実感できています。

インタビュアー： データ収集車両を10倍にしたら10倍賢くなると思っていたけれど、最初はダメだったという話がありましたが、いつその事実に気付き、どんな改善を行っていったのでしょうか？

塩塚さん： 最初に「全然ダメだ」と思ったのは、様々なドライバーのデータを混ぜた2万シーン、大体100時間分の走行データで学習した時でした。その後、キャリブレーション技術の改善やドライバーチームとの連携など、データを混ぜるための土台作りに尽力しました。これにより、前回できなかった2万シーンのデータを混ぜられるようになり、一気に10万シーン（約550時間分の動画）にスケールアップして学習させてみたんです。

結果として、キャリブレーション精度を高める前に実施した2万シーン学習の時のような「めちゃくちゃ悪くなる」ということはありませんでしたが、単純にデータ量が5倍になったからといって性能が5倍になるわけではない、ということが分かりました。

10万シーン規模の学習は計算リソースも大きくかかります。そこで、チームとして一度立ち止まり、検証を行うという判断をしました。データを増やせば賢くなるのは素晴らしいことですが、我々にはまだ足りていない部分があるのだろうと考えたからです。この検証を行っている最中に、私がリーダーを務めるスケールアップチームが発足したという流れになります。

インタビュアー： スケールアップチームが発足した背景には、データをスケールさせる過程で生まれた色んな課題があったのですね。具体的に、チームが取り組んでいる課題は大きくいくつあるのでしょうか？

塩塚さん： スケールアップチームが取り組む課題は、大きく分けて3つあります。

1つめはデータのスケールアップです。チームの名前の通り、これが第一の目標です。この中には、複数車両のデータを混ぜるエンジニアリング、ドライバーチームの構築、そして100万シーンクラスに耐えうる学習基盤の構築といった課題が含まれています。車、人、エンジニアリングの全てをスケールさせることが重要です。

2つめは複数車種への展開です。これは少し先の展望ですが、今我々が扱っているアルファード1車種だけでなく、さまざまな車で自動運転を実現できるようにしていきたいと考えています。そのためには、キャリブレーション技術やデプロイ技術の確立が必要です。

最後はTokyo30の達成。これら全ての課題をクリアし、最終的にTokyo30を達成することがチーム全体の目標です。プロジェクト発足当初から関わっているメンバーとして、最後までやり切って成功させたいという強い気持ちがあります。

これらの課題、特に最初の「データのスケールアップ」は、我々が目指すレベルの自動運転を実現するために避けて通れない道です。例えば、他社の発表や論文を見ると、彼らは1万時間、2万時間（我々が当初大変だと感じた学習時間の10倍、20倍）といった膨大なデータで学習を行い、高いクオリティを実現しています。我々もそれが必要だと考え、チーム化して体制を整えました。

インタビュアー： データスケールアップという課題を解決する上での障壁となるものは何でしょうか？

塩塚さん： 障壁となっているのは学習基盤の構築、つまり大量学習の継続的な実行です。キャリブレーションに関しては、優秀なエンジニアの参画もあり、ブレイクスルーが見えてきました。ドライバー組織の構築も、ドライバーさんと密にコミュニケーションを取り、自動運転や機械学習の基礎から説明するなどして、今では非常に良い状態になってきています。

しかし、学習基盤の構築、つまり1000時間分の学習を継続的に意味のある形で回し続けるという点が非常に大変です。1回学習して終わりではなく、継続的に性能を上げていく必要があります。現状のままでは、1000時間の学習をしようとするとチーム全員が2週間温泉旅行に行くくらいの時間が必要になってしまいます（笑）。これはあくまで比喩ですが、エンジニアリング組織として、大量のデータの学習を効率的かつ継続的に実行するためのインフラやパイプラインの構築が、今、最も大きな課題となっています。これは我々本来の得意分野であるはずなので、絶対に解決しなくてはいけないところです。

インタビュアー： 学習の高速化、実験管理、そしてキャリブレーションなど、細かい部分でのエンジニアリングが非常に重要になってくるということですね。

塩塚さん： その通りです。学習コードの高速化はもちろん重要ですが、意味のある学習を継続するためには、学習結果を正しく評価することが不可欠です。最近では、社内で「シナリオテスト」と呼んでいる取り組みを行っています。これは、ドライバーさんが集めてきてくれたデータをもとに、赤信号での発進・停止、高速域での走行、右折で歩行者を待つといったさまざまなシナリオを作成し、学習後のモデルを定量的に評価するものです。

私自身、数年E2E自動運転の開発をやってきましたが、机上での評価と実車での性能を一致させるのは非常に難しい課題でした。しかし、このシナリオテストを通じて、ようやく机上と実車が合うような評価ができるようになってきたと実感しています。

また、先ほどお話ししたキャリブレーションの課題解決には、専門的な知見を持つエンジニアの存在が不可欠でした。チューリングには元々、自動運転分野でのキャリブレーション経験者が少なかったのですが、最近、自動運転経験者がチームに加わってくれました。彼らは、私たちにはなかったキャリブレーションについての「前提」や「評価観点」を持ち込んでくれ、その結果、複数号車のデータを統一的に混ぜられるというブレイクスルーが起きました。キャリブレーションは、古典的なコンピュータービジョン技術ですが、自動運転にとっては非常に核となる重要な技術であり、そのプロフェッショナルがいることはチームにとって大きな力となっています。

大規模学習を回すための課題にチーム横断的に取り組んでいく

インタビュアー： 今後チームとしてどんな課題を解決していきたいですか？

塩塚さん： チーム化の最大の理由は、大規模な学習と、それに伴う多岐にわたる専門技術を統合的に推進するためです。我々が追いかけているテスラやWayveといった企業は、数万、数十万時間規模のデータで学習を行っており、我々もそのレベルに到達しなければ、社会に通用する自動運転は実現できません。

そのためには、先述の通り、1000時間や1万時間、あるいはそれ以上の学習に耐えうる強固な基盤が必要です。これには、純粋な機械学習モデルの開発だけでなく、キャリブレーションというハードウェアに近い技術、データエンジニアリング、学習インフラのプロ、そしてドライバー組織との連携といった、本当に多岐にわたる専門分野のプロフェッショナルが必要となります。自動運転は「技術の総合格闘技」だとよく言われますが、まさにその通りで、これらすべての要素が機能しないとスケールアップは実現しません。

スケールアップチームは、現在、私を含めてフルタイムで8名（インターン等含め11名）のエンジニアが所属しており、キャリブレーション、モデル学習、モデル評価、データエンジニアリングといった多様な専門性を持つメンバーで構成されています。この多様性を持つチームとして、これらの根本的な技術的課題に集中して取り組むことで、初めてスケーラビリティが確保できると考え、チーム化しました。チームが発足してから約1ヶ月で、キャリブレーションやドライバー連携といった初期の課題は目に見えて解消されつつあり、次のスコープが見えてきた段階です。

インタビュアー： 最後にスケールアップチームの今後の展望についてお聞かせください。

塩塚さん： 引き続きTokyo30の達成に向けて全力を尽くします。具体的な話で言えば、最近は都心部の走行シミュレーションなども始めており、遠くない将来に、東京のあらゆる場所で自動運転ができるようになるという手応えを感じています。この目標をしっかりやり切り、社会に実車として出していきたいです。

また、Tokyo30達成後の話になりますが、個人的にはプロダクトを社会に出していきたいという思いが強くなってきています。チューリングで働き始めた当初は「自動運転を実現したい」という気持ちでしたが、最近は、私たちが作ったものが人の役に立ち、社会に貢献する姿を見たいと強く思うようになりました。

完全自動運転は今後も絶対的に追求し続ける目標ですが、並行して、開発した技術を社会に提供していきたいです。実家に帰省した際、おばあちゃんに「自動運転をやってるんだよ」と話すと「危ないからやめなさい」と言われるんです。今のところはまだ手動の方が安全な部分もありますが、自動運転は多くの命を救う可能性を秘めているとも思っています。将来的に、おばあちゃんが買い物に行く時にチューリング製の自動運転車に乗っている、そんな未来を実現することが、私のアフターTokyo30の目標です。