はてなブックマーク

はじめに 完全自動運転の実現を目指すスタートアップ「チューリング」でエンジニアをしています、坂本です。私が所属しているDrivingSystemチームでは、組み込みLinuxをベースに、自動運転システムと、自動運転モデル学習用データ収集システムを開発しています。 組み込みLinuxの開発を行っていると、カーネルの挙動、周辺デバイスとの組み合わせ等によって、思いがけない不具合に遭遇することが少なくありません。この記事では、実際にシステム開発中に遭遇した再現が難しく、原因の切り分けに時間を要した不具合について紹介していきます。同じように組込みLinuxや自動運転ソフトウェアの開発に携わっている方の参考になれば幸いです。 なお、本記事は「全プロセスが一秒止まる不具合解析」の概要編です。調査で得られた技術的な詳細やカーネル内部のメカニズムについては、別途記事で掘り下げて紹介する予定です。 チューリ

はじめに End-to-End自動運転開発チーム (以降E2Eチーム) の塩塚です。本記事では、画像認識結果とベクターマップをマッチングすることで自己位置推定を行う手法について紹介します。 アイディアとしては 高架下などGNSSが不安定な場所では自己位置がズレる。 その結果、本来は適切に車線中央を走行しているのに、自己位置上は白線の上を走行しているような状態になる。 車両にとりつけられたカメラの画像を見れば車線中央を走行していることは明らかなので、その情報を使って自己位置を修正する。 といった感じです。 結果はこちらです。以下の場面ではGNSSによる自己位置が車線一本分もずれていますが、それを補正できています。 左上(補正前)と右上(補正後)の画像を見ると、画像認識結果(赤)とベクターマップ(青)が合うように自己位置が補正されていることが分かります。 左下はマッチングの様子です。(パッと目

Turingには「MLOpsチーム」と呼ばれるチームがあります。このチームはもともと、自動運転を実現するMLモデルを開発する「E2Eチーム」から、2025年3月頃に独立して誕生しました。 今回の記事では、MLOpsチーム誕生に至る経緯と、その役割について紹介できればと思います。 自動運転MLモデル開発に必要なドメインは多い TuringのE2Eチームは、自動運転用の機械学習(ML)モデルを開発するチームです。チーム名の「E2E」はEnd to Endの意味で、このチームが開発するモデルの特徴を表しています。 このチームには、自動運転MLモデルを開発するエンジニアが多くいますが、そのカバーする領域は多岐に渡ります。 機械学習システムを構築するには、ML学習以外にも重要な要素がたくさんある、という話をすると、よく「Hidden Technical Debt in Machine Learnin

チューリングのMLOpsエンジニアの岩政です。 先日ポストした内容が思いのほか拡散されたので、個人的な再現性が保ちやすい PyTorchの環境構築の流れ についてまとめた記事です。 本記事の主な対象は、Linux OSでNVIDIA GPUが搭載されているマシンでPyTorchをインストールする方です。他のOSやWSL2などで同様の操作が可能かは保証しません。 1. 結論 本記事で紹介したい流れを具体的なコマンドをもとに先に紹介します。 1.1 NVIDIA Driverのインストール NVIDIA Driverをインストールしておく必要があります。 Ubuntuであれば、Ubuntu Server documentation - NVIDIA drivers installationなどに従ってインストールします。本記事では、NVIDIA Driverのインストール方法について説明をしま

1. はじめに 完全自動運転の実現を目指すスタートアップ「チューリング」でエンジニアをしています、佐々木です。現在、Vision-Language-Action (VLA) モデルの研究開発に取り組んでいます。 本記事では、自動運転VLAモデルの概要と最新の研究動向を整理し、今後の取り組みについて掘り下げていきます。 1.1 自動運転システムの概要 まずは、本題に入るまえに自動運転システムのパラダイムについて確認していきましょう。 Modular-based System モジュラーベースシステムは、3P (Perception → Prediction → Planning)のパイプラインを個別のモジュールとして設計し、統合することで動作します。モジュラーベースシステムの利点は、各モジュールを独立に開発、改善できる点です。しかし、モジュールごとに最適化目的が異なるため、システム全体として

はじめに Turingの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。本記事では、PyTorch Lightningを利用してマルチノード(=2インスタンス以上の環境)で学習を行う際のTipsと、PyTorch Lightningと Lightningの併用により生じる問題の解決策について紹介を行います。 普段はSwallow Projectや横田研究室にて大規模モデルの分散並列学習や低精度学習について研究を行っていますので、そちらもご覧いただけますと幸いです。 2ノード以上で発生する問題 PyTorch Lightningを利用した学習を行う際に、後述する環境変数が正しく設定されていないと、以下のように、2ノードで学習するときにGLOBAL_RANKが重複して設定されてしまう問題が発生します。 このような問題が発

はじめに Turingの基盤AIチームに業務委託として所属している東京科学大学(Institute of Science Tokyo)の藤井です。 本記事では、PyTorchをsource buildした後に利用する際にCUDA Toolkitをmodule loadしておく必要があることの背景について解説を行います。 また、pip installによりbuild済みのbinaryをインストールしたときのPyTorchとsource buildした場合の違いについても解説を行います。 普段はSwallow Projectや横田研究室にて大規模モデルの分散並列学習や低精度学習について研究を行っていますので、そちらもご覧いただけますと幸いです。 本記事の概要を図にすると以下の通りになります。 pip install時の挙動 まず、source buildしたときとの比較のために、多くの方がよく

はじめに チューリング基盤AIチームの @stu3dio_graph です。 チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため,LLMを視覚モーダルに拡張したVision-Language モデル(VLM)「Heron」の開発に取り組んでいます。 チューリングは経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト GENIAC第2期 に採択されました。GENIACでは,完全自動運転を見すえた「身体性」を持つマルチモーダル基盤モデルの開発に取り組みました。日本語環境で高性能なマルチモーダル基盤モデルを作るためには,品質のいい日本語画像およびテキストデータを大量に収集することが不可欠です。 このたび,日本語環境で高性能なVLM; Heron-NVILA-Lite に加えて,Heron-NVILA-Lite の学習のために作成したデータセット

完全自動運転の実現を目指すTuringでは、Webスケールのデータセットで学習した大規模視覚言語モデル(VLM)の持つ「常識」を利用することで、幅広い状況に対応できる自動運転モデルの開発を実現できると考えています。 この目標のもと、基盤AIチームでは2023年から視覚言語モデル「Heron」の開発に取り組んできました。 VLMを自動運転に活用していく上で重要な要件の一つが「軽量」であることです。Turingでは経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと、2Bパラメタと比較的軽量なVLMの学習に取り組み、モデルサイズに対して非常に高性能な「Heron-NVILA-Lite-2B」の開発に成功しました。 Heron-NVILA-Lite-2Bは軽量であるため、iPhoneのようなモバイル端末のローカル環境でも十分に動作しま

はじめに チューリングの横井です。チューリングでは視覚と言語を統合的に理解できるAIを自動運転に応用するため、Vision Language モデル(VLM)「Heron」の開発に取り組んでいます。このたび、経済産業省およびNEDOが推進する日本の生成AIの開発力強化に向けたプロジェクト「GENIAC」第2期の支援のもと開発したVLM「Heron-NVILA」15B, 2B, 1B, 33Bを公開しました。 この記事では開発したHeron-NVILAのアーキテクチャ、学習内容、ベンチマーク評価を紹介します。 モデルアーキテクチャ Heron-NVILAのアーキテクチャは名前の通りNVIDIAが提案したVLMであるNVILAを用いています。 NVILAは 「Vision Encoder → Projector(2 層 MLP)→ LLM」 という 3 段構成を取りつつ Scale ─ 画像を

Turingの基盤AIチームの三輪です。 Turingで研究・開発した結果をまとめた「One-D-Piece: Image Tokenizer Meets Quality-Controllable Compression」という論文を公開したので、紹介します。 これは何? 「One-D-Piece」という新たな「画像トークナイザ」を提案しました。これによって256段階の可変品質で画像を圧縮し、Transformerベースのモデルと相性のいいトークン列での表現に変換することができます。 背景 テキストトークナイザと画像トークナイザ Transformer型のモデルは、「トークン」の列を入力に取ります。そのため、Transformer型のモデルを用いるためには、データを何らかの方法でトークンにする「トークナイザ」が必要です。 トークナイザといって一般に想起されるのはテキストトークナイザ、つまり

こんにちは!チューリングでソフトウェアエンジニアをしている太田です。 自動運転システムの開発を手がけるチューリングでは、大規模な GPU クラスタでトレーニングされたモデルが日々リリースされ、実車環境でのテストが行われています。 自動運転と聞くと、ハードウェア寄りの技術を連想するかもしれませんが、チューリングの自動運転開発においてWeb系の技術もさまざまな場面で活用されています。 近年、UI開発においてWebブラウザが利用される場面が広がっています。チューリングの自動運転システムにおいても例外でなく、Webフロントエンドの技術を用いてUI開発が進められています。この記事では、チューリングの自動運転システムのUIに焦点を当てて、その背景や構成をコードとともに解説します。 1. E2Eモデル チューリングでは「E2E(End-to-End)」と呼ばれる自動運転モデルを開発しています。カメラ画像

はじめに こんにちは、チューリング株式会社でソフトウェアエンジニアをしている矢部(和)です。 今回は、弊社内で最近よく利用されている便利な可視化ツール Rerun を紹介します。 前半はRerunの説明を、後半は実際に簡単なコードを書いてRerunを使ってみたいと思います。 この記事は、社内合宿のテックブログ作成チャレンジで弊社の嶋谷が執筆したRerun解説編を元に、矢部(和)が実践編を追記したものです。 解説編 Rerunとは Rerunはマルチモーダルデータの管理と視覚化を簡便かつ高性能にするためのツールで、複数の種類のデータを処理、保存、可視化できます。 記録、可視化、データ保存は下記のような流れで行います。 Rerun SDKを使ってデータをログとして保存または読み込み ビューアでリアルタイムや記録済みデータを確認 UIやSDKで視覚化のカスタマイズ クエリ機能でデータをPanda

はじめに こんにちは。チューリングのDriving Softwareチームのマネージャーを務めている渡邉(@sangotaro)です。Driving Softwareチームは、チューリングの自動運転システムの開発を担当するチームで、自動運転AI以外の領域、例えばシステム制御やソフトウェアインフラの構築などを手掛けています。 先日、チームで栃木県の那須に開発合宿に行き、「約3時間でテックブログを書き上げる」というユニークな企画に挑戦しました。いくつかのチームに分かれ、それぞれが記事のテーマを決めて執筆した結果、公開までこぎつけることができた記事がなんと5本も完成しました!今回お届けするこの記事は、その中の1本であり、同じチームだった徳弘(@res_circuit)と共同で執筆しました。 この記事に先立ち、すでに2本のテックブログが公開されていますので、ぜひそちらもご覧ください。そして残りの2

Python Advent Calendar 2024の7日目です。 この記事ではuvについて、v0.5.3までのアップデートで個人的に便利だった機能を依存関係に焦点を当ててまとめました。 uvは高速なPythonパッケージとプロジェクト管理ツールです。2024年8月20日にuvのバージョンがv0.3.0にアップデートされて以来、広く使われるようになりました。 以前に以下の記事をまとめています。これからuvを使いたい方などに参考になれば嬉しいです!また、公式のドキュメントがしっかりと整備されているのでhttps://docs.astral.sh/uv/getting-started/から使ってみることをオススメします。 現在のuvのバージョンがv0.5.3より前のバージョンであれば、以下のコマンドでuvをアップデートしましょう。 1. PyTorchを例にindex-urlを指定するパッケ

はじめに チューリング生成AIチームの荒居です。 この記事は生成AIアドベントカレンダー2024の4日目の記事です。 この記事では、動画生成モデルを題材に、vLLMを用いて独自のマルチモーダルモデルを推論させる方法について解説します。vLLMはLLMの高速推論・サービングのライブラリで、LlamaやQwenなどの有名なモデルについてはサポートされているため非常に簡単に利用することが可能です。一方で、独自に実装したモデルを組み込む方法については公式ドキュメント以外ではほとんど情報がなく、かつ公式ドキュメントも情報が豊富とは言えないためなかなか手が出しづらい状況になっています。 そこで、本記事では、公式ドキュメントには書かれていない内容も含めて、独自のマルチモーダルモデルをvLLMに組み込む具体的な方法を丁寧に解説します。特に、動画生成モデルを例に、Hugging Face Transform

チューリングのE2E自動運転チームの岩政(@colum2131)です。 2024年8月20日にuvのマイナーバージョンが0.3.0にアップデートされました。元々、pipの代替として設計されていたuvが、Pythonのバージョン管理からパッケージ管理まで行えると発表されました。 以前の2024年7月にまとめた記事では、 将来的には、uvがRyeに代替されるよう と書きましたが、実際、RyeやPoetryなどの代替としてuvのみでPythonのプロジェクト管理が可能になりました。Ryeで行っていた操作同様にuvで実行できるようになった印象もあります。 チューリングのメンバーでも熱心なuvファンがいるため、本記事では、uvの基本操作や、便利な機能をまとめます。 1. uvの基本操作 uvの公式ドキュメントはuvで整備されています。 1.1 uvのinstall 公式のuv - Getting s

1. はじめに Turing生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し予測する動画生成AI、「世界モデル」の開発に取り組んできました。前回の私の記事では、その取り組みの中で調査したGAIA-1の紹介を行いました。今回は、Turingが開発した世界モデル"Terra"で利用している技術や課題・展望などについて紹介をしたいと思います。 この記事で解説している内容 世界モデルTerraは何ができるのか 世界モデルTerraはどのような仕組みで動いているのか どのような課題が残されているか Terraで生成した動画。Terraは運転環境に特化しており、車載カメラの一人称視点動画の生成を行うことができる 2. 世界モデルTerraは何ができるのか? Turingの世界モデルは大きく分けて二つのことができます。一つ目は短い動画を与えるとその続

はじめに Turing の End-to-End(E2E) 自動運転チームでチームマネージャをやっている棚橋です。今回はE2E自動運転チームでブログの連載企画を行います。本連載企画ではEnd-to-End(E2E)自動運転の最新技術やTuringの取り組みを紹介します。第一回はTuringで取り組んでいるE2E自動運転の概要と課題について取り上げます。 End-to-end自動運転とは? Turing が取り組んでいる自動運転の方式はE2E方式と呼ばれるもので、従来の自動運転の仕組みとは大きく異なっています。従来のシステムでは、緻密に設計された無数のソフトウェアモジュールが複雑に連動して動く仕組みですが、E2E方式では全ての判断をMLモデルに委ねるため、MLモデルの開発とそのデータ作りが主戦場です。 技術が違うということは必要な技術も人材も大きく異なります。MLエンジニアだけでなく、大規模

チューリングのE2E自動運転チームの岩政(@colum2131)です。 最近、チーム内でPythonを使った開発はRyeとuvを使うことが多くなり、特に機械学習環境もRyeとuvで問題なく開発できるようになりました。社内でのオンボーディング資料としてRyeとuvの操作を整備しようと思い、このテックブログで紹介します。 [2024年08月25日追記] 2024年8月20日にuvのマイナーバージョンがアップデートされました。変更点もいくつかあり、以下のページにまとめました。 1. Rye ×ばつ uvとは? RyeはPythonの包括的なプロジェクトおよびパッケージ管理のツールです。これまでもPoetryなど管理ツールはありましたが、pyenvなどPythonのバージョン管理ツールが必要でした。Ryeは、Pythonのバージョン管理からパッケージ管理を行えて、Poetry同様にpyproject.t

はじめに Turing 生成AIチームの佐々木 (kento_sasaki1)です。生成AIチームでは、完全自動運転の実現に向けてマルチモーダル基盤モデルの開発に取り組んでいます。 先日、6月17日から6月21日にシアトルで開催されたコンピュータビジョン・機械学習系のトップカンファレンスCVPR 2024に参加し、Vision Language Model (VLM)のワークショップThe 3rd Workshop on Computer Vision in the Wildにて日本語VLM評価ベンチマークHeron-Benchの発表を行いました。 Heron-Benchについては、以前テックブログを公開していますのでぜひご覧ください。 CVPR 2024では、End-to-Endの自動運転やLLM (Large Language Model), VLM (Vision Language

1. はじめに Turing 生成AIチームの荒居です。生成AIチームでは、完全自動運転の実現に向けて、現実世界の複雑な状況を理解し未来を予測するAI、「世界モデル」の開発に取り組んでいます。世界モデルは、生成AIによって様々な交通状況や歩行者の行動をシミュレーションすることを可能にし、安全かつ効率的な自動運転を実現するための重要な鍵となると私たちは考えています。 この記事で解説している内容: 世界モデルとは何か 世界モデルの開発はなぜ自動運転に重要なのか 世界モデルGAIA-1について 2. 世界モデルとは 世界モデルとは、現実世界の物理法則や因果関係、物体間の相互作用などの「世界の仕組み」を表現するモデルのことです。人間は、生まれながらにして備わっている身体感覚や運動能力を通じて身の回りの世界に関するメンタルモデルを構築し、それを基に予測や計画、行動をおこなっています。例えば、ボールを

言語モデルを高位合成でFPGAに実装してみた Turing株式会社のリサーチチームでインターンしているM1の内山です。 Turing株式会社では大規模基盤モデルによる完全自動運転を目指しており、その実現に欠かせない技術として大規模言語モデルの研究開発を行っています。 Generative AI LLMの広範な知識と思考能力に加え、視覚情報やセンサーデータなどの多様な入力を受け入れることで、車の周囲の状況を正確に認識します。さらに、世界モデルを適用することで、高度な空間認知と身体性を獲得し、実世界に対応した生成AIを実現します。 https://tur.ing/ より引用 しかしながら、従来の大規模モデルはデータセンターという大量のGPU・潤沢な電源・安定した地盤を備えた豊かな環境で処理されるものであり、対して自動車というものは余りにも狭く、電源が乏しく、振動が大きいという劣悪極まりない環境

1. はじめに 2012年から始まった深層学習の発展の過程で、さまざまな学習フレームワークが登場しました。中でもPyTorchとTensorflowは最も広く使われており、それぞれのフレームワークが支持されている背景には、柔軟性、拡張性、そして使いやすさがあります。 一方で、これらのフレームワークはその機能を拡張し続けてきた結果として、全体として非常に巨大で複雑なライブラリになっています。そのため、独自に機能拡張を行いたいユーザーにとっては扱いづらく、性能的にもオーバーヘッドを感じさせることがあります。 そこで新たに出てきたのが「JAX」とその関連ライブラリの組み合わせになります。2019年に登場して以降、特に海外の開発者に支持されてきました。近年注目されている大規模言語モデル(LLM)の分野においても、JAXによるモデルが公開されていることは珍しくなくなりつつあります。 PyTorch(

はじめに Turingでは完全自動運転実現に向けて、LLMやそれを用いたVision Langauge(V&L)モデルの開発に取り組んでいます。最近は経済産業省/NEDOの「競争力のある生成AI基盤モデルの開発を支援する「GENIACプロジェクト」」にも採択されるなど、大規模な生成AIの開発に精力的に取り組んでいます。 特に、Vision Languageモデルについては、Heronというライブラリとモデル群を公開しており、今回は新しいモデルとその学習レシピを公開します。また、日本語のV&LモデルをGPT-4を用いて評価するためのプログラムも公開します。 Heronとは V&Lモデルは、画像を認識する「ビジョンエンコーダ」、文章を生成する「LLM」、それら2つをつなぐ「アダプタ」から構成されます。heronのコードを用いることで、これらの様々な組み合わせのオリジナルV&Lモデルを作成するこ

Turing株式会社の自動運転チームでインターンしている東大B3の大野です。 自動運転チームでは、完全自動運転の実現を目指して自動運転AIを開発しています。モデル開発の際に、「雨の日に高速を走っていて先行車がいない」や「交差点で歩行者がいる中、右折している」など、特定の状況の走行データが必要になることがあります。 今回私は、動画に対して天気や歩行者の数などのラベルをデータベース化し、検索できるシステムを、Vision-Languageモデルを使って開発しました。この記事では、このシステムの作成にあたって取り組んだことについて説明します。 作成したGUI 課題 Turingでは、走行パートナーの方々とともに、大量の走行データを収集してきました。走行データには、車両に載せたカメラによる動画や、その際の車両のログ(速度やステアリング角、位置情報など)が含まれます。また、すべてのデータをAWSのS

TuringでResearcherをしているいのいちです。 先日、会社にサポートしていただいてニューオーリンズで開催されたNeurIPS 2023に参加させていただくことができたので、今年のNeurIPSで発表された自動運転系の論文をいくつかピックアップして紹介しようと思います。 NeurIPSとは NeurIPSは1987年から開かれている機械学習系でトップの国際会議です。この会議が発足した当初はBiologicalとArtificialの両方の側面からニューラルネットワークを研究しようという趣旨があり、長らく神経科学からも理解しようという趣旨があったようです。現在はこの国際会議で発表される多くの研究が機械学習や人工知能といったコンピューターサイエンス系のものが主体にはなっていまが、参加してみて他の機械学習やコンピュータビジョン系の学会よりも生物学と関連した研究も多く、生物学出身の私とし

アドベントカレンダー22日目を担当します!モデル開発チームの塩塚です。 本日は金曜日で、このままクリスマス突入ですね。そしてそのまま年末年始を迎えるこの時期は少しだけ楽をしたいですよね。 そんな我々にピッタリの機械学習リポジトリがあります。それがこちら Language Segment-Anything です。 公式リポジトリより引用 こちらのオープンソースプロジェクトは、画像とテキスト入力だけで物体検出・セグメンテーションをしてくれます。とても便利ですね。従来は、物体検出・セグメンテーションしたいときに、検出したいオブジェクトに対応したモデルを探して、探しても画像のサイズや画角によってはあまり上手に検出してくれなかったりして、ぱっと試すにも時間が必要でした。それがこのオープンソースではテキストを与えるだけです。しかも物体検出もセグメンテーションを同時に。 本記事では、Language S