TFRecordとWebDatasetを使った分散並列学習とパフォーマンス調査

関連記事

TFRecordとWebDatasetを使った分散並列学習とパフォーマンス調査

はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shibo...概要を表示 はじめに Turing株式会社の自動運転MLチームでエンジニアをしている越智 (@chizu_potato)と塩塚 (@shiboutyoshoku) です。 Turingが目指す自動運転は、大量のデータで学習された非常に賢い機械学習モデルを活用することです。そのために、走行パートナーの方たちと協力して創業時からこれまで大量の走行データを取得してきました。走行データは車両に取り付けられた複数カメラによる360度をカバーした動画と、そのときの速度やGPSなどの走行ログを含んでいます。データサイズは80TBを超え、時間換算で3500時間程度です。 これだけのデータサイズでモデルを学習するためには、1枚のGPUだけで頑張るには限界があり複数のGPU (multi-GPU) による分散並列学習が必要となってきます。しかし、ただ分散並列学習を行うだけではmulti-GPUに対し、データの入出力 (I

• PyTorch
• TensorFlow
• 機械学習

ブックマークしたユーザー

• techtech05212024年06月13日 techtech0521
• moo_san2023年08月08日 moo_san
• dann2023年07月31日 dann
• misshiki2023年07月31日 misshiki
• sangotaro2023年07月30日 sangotaro
• yug12242023年07月29日 yug1224
• manboubird2023年07月29日 manboubird
• satojkovic2023年07月29日 satojkovic
• midas365452023年07月29日 midas36545
• mstk_knife2023年07月28日 mstk_knife
• ant_mugi2023年07月28日 ant_mugi
• zakiy2023年07月28日 zakiy
• kakutouka012023年07月28日 kakutouka01
• dhesusan46492023年07月28日 dhesusan4649
• toshikish2023年07月28日 toshikish
• sakito09022023年07月28日 sakito0902
• Hiro_Matsuno2023年07月28日 Hiro_Matsuno
• sys-bio2023年07月28日 sys-bio