自動運転開発経験者が、End-to-End自動運転開発の最前線で感じていること

前職で自動運転開発に携わっていた阿部さんと鈴木さん。AIモデル開発や、自動運転システムに取り組んでいる二人に、なぜEnd-to-End（以下E2E）自動運転開発に挑んでいるのか、チューリングでしか味わえない開発の面白さについて聞きました。

これまでのキャリアとチューリングを選んだ理由

インタビュアー：本日はお二人ともよろしくお願いいたします。まずはこれまでのキャリアについてお伺いできればと思います。

阿部：大学院を卒業後、2019年10月にSenseTime Japanという会社に入社しました。当時は自動運転用の走路・地図認識モデル開発やスマホで動く物体検出モデル開発などのプロジェクトを掛け持ちで担当していました。これらのプロジェクトでは、データ収集やアノテーション、モデルの実装や軽量化、エッジへのデプロイ、評価など機械学習のフルサイクルを回す経験をしました。特に、スマホ向けプロジェクトでは PM も兼ねていたので、意思決定レイヤーの顧客と1対1で、直接やり取りしながらプロジェクトを進めていきました。技術的な提案がダイレクトに相手に届き、フィードバックもすぐに返ってくる。大手企業ではなかなか経験できない、スピード感と責任感のある仕事でした。

インタビュアー：ファーストキャリアでSenseTimeを選んだのはなぜだったんですか？

阿部：私が大学院にいた2018〜2019年頃は、「画像認識といえばSenseTime」という時代でした。CVPRなどの国際会議でトップクラスの論文を多数発表していて、その技術力は圧倒的でした。世界を牽引する技術に触れてみたいという思いが強く、日本にもブランチがあることを知り、すぐに連絡を取って入社を決めました。周りに同期もほとんどおらず、新卒で入るにはユニークな環境でしたが、それもまた魅力に感じました。「仕事ってそもそも何をするんだろう？」という根本的な問いから始まり、自分たちでイチからすべてを作り上げていくことまでやれたのは貴重な経験でした。

インタビュアー：続いて鈴木さんはいかがでしたか？

鈴木：Canonでは画像処理や3次元計測、ロボットビジョンをやっていました。今でいうキャリブレーションや昔ながらのコンピュータービジョンの基礎をそこで学んだという感じです。日産では量産に関わる部分を担当していたので、少し毛色が違う経験をしました。その後SenseTime japanでは、システム全体の開発に初めて本格的に取り組みました。

具体的には、阿部さんが開発したパーセプションモデルを、実際に車のECUに載せる部分です。センサーデータをどうECUに取り込むか、認識結果をどうシステム全体に吐き出すかといった、システム全体のアーキテクチャ設計と実装が主な役割です。複数のECUを連携させ、それぞれのECUがどのタイミングでデータを取り込み、フュージョン（統合）し、処理を行うか、通信負荷を考慮しながらバランスを見て調整していく。まさに、システム全体を俯瞰しながら技術的な課題を解決していく仕事でした。自動運転のシステムは非常に幅が広く、通信、ハードウェア、ソフトウェアと、あらゆる領域の技術をキャッチアップしながら開発を進める必要がありましたが、そこに面白さを感じていました。

インタビュアー：お二人とも、自動運転開発の最前線にいた中で、なぜチューリングへの入社を決意したのでしょうか？

阿部：一番大きな理由は「車を走らせられる」という点です。前職では知覚（パーセプション）モデルの開発がメインで、その先のプランニングや制御といった部分は、自分たちにとっては未知の領域でした。例えば、私たちが作ったモデルが、最終的に車両のステアリングやアクセル、ブレーキをどう制御するのか、その一連の流れはブラックボックスだったんです。しかし、当時世の中では「E2Eで車を走らせられる」という大きな技術的潮流が出てきていて、チューリングならそれを実現できるだろうと思ったのです。

モデルを作って終わりではなく、実際に車を走らせて挙動を評価し、改善していく。この一貫した開発サイクルに、これまでにない面白さを感じました。従来のモジュールベースの開発では、各担当者が自分の領域に閉じこもりがちですが、チューリングではモデル開発者もシステム開発者も、全員が「どうすれば車が走るか」という共通のゴールに向かって協働できる。この環境に強く惹かれました。

鈴木：私も阿部さんと似ています。これまでのモジュールベースの開発（知覚→プランナー→制御）ではなく、E2Eで開発するとシステムがどうなるのか、という点にとても興味がありました。従来の構成は、これまでの経験からある程度イメージがついていましたし、前職でやってきたことと大きくは変わりませんでした。しかし、E2Eは日本国内で唯一チューリングが取り組んでいるスタイルです(※)。この新しいシステムがどういうものなのか、どういう動きをするのか、自分の手で確かめてみたいという強い思いがありました。また、チューリングでは社長の山本と社員が、立場に関係なくフラットに技術的な議論をする姿を目の当たりにしました。一般的に、大企業では階層構造がコミュニケーションの障壁になることがありますが、チューリングにはそれがありません。技術的な課題に対して、みんなが対等に意見を交わし、ベストな解決策を探す。このオープンで健全な開発文化も、E2Eという未知の領域に挑む上で非常に重要だと感じました。

※採用プロセスに進んだ当時の時点での話です

E2Eだからこその難しさとやりがい

インタビュアー：実際にE2E開発に取り組んでみて、前職との違いをどのように感じていますか？

鈴木：まず、キャリブレーションの精度に対する要求が全く違う、というのが正直な感想です。モジュールベースの開発では、多少のずれは許容されていました。例えば、100m先で1度ずれても、それは仕方ないよね、という感覚でした。

しかし、E2Eでは、0.1度のずれが車の挙動に大きく影響してしまいます。モデルが非常に繊細で、データやキャリブレーションを本当に慎重に扱わないといけない、ということを日々痛感しています。これは、従来の開発では考えられなかったことです。E2E開発においては、モデルが活躍できるように、私たちがシステム側で徹底的に環境を整えてあげる必要があります。この「気難しさ」を理解し、モデルと対話するように開発を進めることが、成功の鍵だと感じています。

インタビュアー：その精度の要求は、体感でどれくらい違いますか？

鈴木：10倍、100倍は違うと思います。従来の開発では、認識精度の話で済みましたが、E2Eではそれが車の制御に直結します。ちょっとしたずれが車の挙動を大きく変えてしまうため、気難しさのレベルが全く違いますね。例えば、車体ごとの固有のパラメーターの違いをどこまで許容するか、走行中にキャリブレーションのずれをどう補正するかなど、考慮すべき要素も格段に増えます。さらに、車両の製造プロセスにおける車両の個体差や、センサーの取り付け位置のわずかなずれも、モデルの挙動に影響を与えます。私たちは、これらのばらつきを吸収し、ロバストなシステムを構築するために、日々試行錯誤を繰り返しています。

阿部：E2E開発は良くも悪くも、データがすべてを支配していると感じます。これまではモデルのアーキテクチャや損失関数を工夫することが重要で、それによって性能が1%上がるだけで喜んでいました。しかし、今はそれよりもデータをどう集めるか、どういう走り方でデータを取るか、といったデータセントリックなアプローチが性能を何十倍も向上させます。データ収集ドライバーさんたちの走り方一つで、学習したモデルの挙動がそのまま現れてくるんです。まるでデータが車の挙動そのものを規定しているかのようです。

インタビュアー：データ収集の重要性がこれほど高いとは驚きです。

阿部：パーセプションモデルだけを開発していた頃は、多くのシーンが取れれば良かったのですが、E2Eで制御まで行うとなると、走行の質が問われるようになります。ただデータを集めるのではなく、「どういうデータがモデルにとって良いデータなのか」を常に考えながら、データを収集する必要があります。また、ソフトウェアだけでなく、車両のアライメントなど、車の基礎的な部分も走行に影響してくるので、非常に奥が深いです。例えば、タイヤの空気圧やサスペンションの状態が、モデルの予測に影響を与えることもあります。ハードウェアとソフトウェアが密接に関わり合う、これまでの開発とは全く異なるアプローチが求められると感じます。

インタビュアー：E2E自動運転開発において、特に難しいと感じることは何ですか？

鈴木：要因分析が難しいことです。従来のモジュールベースであれば、特定のモジュールが問題を起こしていると特定しやすいですが、E2Eは画像を入れて、最終的に制御値が出てくるという構造なので、どこに問題があるのかがブラックボックスになりがちです。

例えば、「この場面で車が不自然な挙動をした」という事象が発生したとき、それがモデルの学習データの不足によるものなのか、キャリブレーションのずれによるものなのか、あるいは車両のハードウェアの問題なのかを切り分けるのは非常に困難です。それをどういう視点で仮説を立てて、データを加えてみたり、キャリブレーションの精度を上げてみたりして、課題を解決していくか。この探求のプロセスが、E2E開発の最も難しく、そして面白いところだと感じます。

インタビュアー：最後に、今後チューリングでどのようなことに挑戦していきたいか、展望を教えてください。

阿部：どのようなドライバーさんのデータでも、どんな環境でも走らせられる汎用性の高いモデルを作りたいと考えています。一人のドライバーや一台の車でカバーできる範囲は限られていますから、さまざまなデータを組み合わせて学習させることが、日本全国を走れるモデルを作るために不可欠です。それができれば、より多くの人に、より安全な自動運転を提供できると考えています。

鈴木：私も阿部さんと同様、モデルにとって良いデータとは何か、という点を追求していきたいです。今は一つの車種で開発していますが、将来的には複数の自動車メーカーとやり取りしていくことになるでしょう。そのときに、車種が変わるたびに一からモデルを作り直すのではなく、汎用性の高いモデルを効率的に開発できるような、データ収集の基礎となる部分を構築していきたいです。

インタビュアー：最後に、お二人にとって「自動運転モデル開発の面白さ」とは何でしょうか？

阿部：やはり、自分の作ったモデルが実際に走ることですね。作ったモデルやシステムが、ちゃんと車を走らせ、走れる範囲が広がっていく。そしてそれがいつか世の中に出て、多くの人の役に立つ。この一連のプロセスは、どんなものづくりでも共通する面白さだと思いますが、車という巨大で複雑なものを動かせることに、特別な感動があります。

鈴木：阿部さんと同じですね。車は動かしてナンボです。実験で車が走り出した瞬間は最高に楽しいですし、一つ課題をクリアしても、また新しい課題が見つかります。そのサイクルを回していくことが、自動運転開発の醍醐味だと思います。