-
Notifications
You must be signed in to change notification settings - Fork 0
Conversation
Load ml_planner-style topomap files, estimate the current node by PlaceNet inner product, and select the next graph node as the NavVLA goal.
Provide a CLI that builds topomap.yaml and node images from create_data.py datasets using PlaceNet features.
Update the goal image tensor from the topological navigator during inference so the next topomap node becomes the active NavVLA target.
Expose flags and paths for enabling topomap-based goal selection and PlaceNet feature matching.
Package generated topomap files when present and register the create_topomap console script.
Keep generated deployment topomap data and local PlaceNet weights out of version control.
Keep toponav.py focused on loading and using existing topomaps, and move TopomapGenerator into the create_topomap command module.
Kasaiatsuki
commented
May 14, 2026
二号館を左周りしたコースでトポロジカルマップを設定してそれを基に自分がいる位置に近いノードを推定し、次の目標画像をomnivla-edgeに入力としていれて実験しました。
モードは画像だけを使ってナビゲーションをするモードになっています。
結果としてはある程度走行できるが、複雑な経路を走るにはまだ厳しい印象でした。
検証動画
This reverts commit eb27a56.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
レビューしました
一部致命的なところもあるので,確認しましょう(後半はあんまり良く見てませんが)
生成AIを活用するのは良いと思うんですけど,少なくとも慣れないうちは調査や分析にAIを活用するようにして,判断は人間が担当したほうが良いと思います
判断までAIに任せると前提条件に逆らったコードが生成されたりするので
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
この辺のpath周りの設定,変更が不要なようにも思えるのですが,変更が必要なら理由を教えてください
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
modality id次第で切り替えればuse_promptというパラメータを用意せずに済みそうですね
その際にプロンプトが与えられていないのであれば,エラーを返すようにしたほうが良いと思います.
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
ちょっと気持ち悪いことをしている
@kyo0221
kyo0221
left a comment
There was a problem hiding this comment.
Choose a reason for hiding this comment
The reason will be displayed to describe this comment to others. Learn more.
指摘ではないので,質問に答えていただければ大丈夫です
Kasaiatsuki
commented
Jun 11, 2026
2号館3階を40分くらい自由に走行したデータを用いてファインチューニングを行い、その重みファイルを用いてmodality_id:6(image_only)でトポロジカルマップを作成して走行実験を行った。
PCに移っている画像がトポロジカルマップから推定した目標画像である。
https://youtu.be/KkipvI6fEps
ノードの遷移範囲が広くノードを行ったり来たりしていてぶれていたのとプログラムもトポロジカルマップのノードの数によって信頼度の値が変わるようになっていたのでそこの修正も必要だと感じた。
ロボットの動きとしては分岐路の手前から曲がってしまうことが多かった。
Kasaiatsuki
commented
Jun 11, 2026
https://youtu.be/xDDzXTjBErw
トポロジカル位置推定の修正をしたためノードが行ったり来たりすることはなくなった。
しかし、目標画像がまっすぐなのに分岐路あたりで曲がってしまうことが何度も試行しても起こった。
ml_plannerのロジックを参考にトポロジカルマップを用いて最近傍ノードを推定しゴール画像を選択してナビゲーションを行う