実験用ロボット

次の機体用の股関節部を試作中。
左右の股関節機構を繋ぐ中間の板を作った。
次は、腰断面と臀部の板を作る。

実験用ロボット

次の機体用の股関節部を試作中。
機構は出来たので、骨盤相当を試作中。
なるべく、機構を見せない様にしたいけど、大き過ぎるのは扱いに困るので、塩梅を悩む。
膝下は現行機と同じで良いハズだけど、後で考える。
二足歩行ロボットの強化学習の進捗は無し。

実験用ロボット

次の機体用の股関節部を試作中。
股関節ピッチ軸とロール軸は繋いだ。
更にヨー軸サーボを取付ける部品を作ってる所。
太ももヨー軸にする。
二足歩行ロボットの強化学習の進捗は無し。

実験用ロボット

股関節周りを変えた次の機体を構想。
流用出来る部品を探してる所。
OpenDuckのmini bdxモデルを試してる所。
学習が進まない。
どの学習パラメタが悪いのか分からない。

実験用ロボット

膝伸ばし姿勢で動かす関節を変えて４自由度の歩行モーションを作ったけど、股関節ヨー軸を斜めに取付けてると前後の揺れを抑えきれないので、足首ピッチ軸の動作を加えて６自由度にして歩けた。
膝伸ばしだと重心が高くて歩くのが難しいと言う訳じゃなかった。
股関節周りを変えた次の機体を構想中。
歩行の強化学習に使えそうなロボットのURDFを探してる所。
特定の高さに留まって暴れる動きになるのは学習スクリプトに原因が有りそうだけど、何処が間違ってるか分かってない。

実験用ロボット

膝曲げ姿勢で４自由度の歩行モーションを作った。
歩幅が狭いけど、転倒せずに歩けた。
膝伸ばし姿勢で４自由度の歩行モーションを作った時とは違う関節を使わないといけなかった。
逆に膝曲げ姿勢の４自由度歩行で動かした関節で膝伸ばし姿勢の４自由度歩行を作るとどうなるか試して見よう。
歩行の強化学習に使えそうなロボットのURDFを探してる所。
関節数が適切でも、特定の高さに留まって暴れる動きになってしまう原因は何かな。
URDF記述の癖がいろいろ見れる。

実験用ロボット

以前も試したけど、動かす関節の数を制限して歩行モーションを作成中。
膝を曲げないで作ると、さすがに重心が高過ぎて、小さな足裏では制御しきれない。
なので、膝曲げ姿勢で４自由度の歩行モーションを作ってたら、電池切れで中断。
歩行の強化学習に使えそうなロボットのURDFを探してた。
表示は出来るけど、関節数が多くて使えそうな物が見つけられない。

実験用ロボット

膝サーボ位置を内側に寄せる改修が出来た。
左右の重心移動を確認。
支持脚の足首ロール軸の真上に股間が来る様に傾けられるので、これで良い。
次は、歩行の基本姿勢を作って行く。

実験用ロボット

太ももと膝を組立てて見た。
膝サーボの位置が外側へ寄り過ぎて左右の重心移動がやり難いな。
膝サーボの位置を内側に寄せるように改修中。
二足歩行ロボットの強化学習は進んでない。

実験用ロボット

太ももヨー軸サーボの取付け向きを変える部品を作った。
膝のサーボアームも作り直して、接着剤が固まるのを待ってる所。
二足歩行ロボットの強化学習は進んでない。

実験用ロボット

左右の重心移動が上手く出来る様に、太ももヨー軸サーボの取付け向きを変える部品を作成中。
膝のサーボアームも作り直さないといけない。
二足歩行ロボットの強化学習中。
進行方向を指定するパラメタが有ったハズ。
横歩きや後歩きをやってみたい。

実験用ロボット

歩行モーションの修正中。
左右の重心移動が上手く出来ないので、足裏の内側を切取った。
後、膝上部分が左右に広がってるのを細くしたいな。
二足歩行ロボットの強化学習中。
膝曲げの直立姿勢から歩行を始める場合、膝曲げ角度を変えたら何か変わるか試した。
膝曲げ角度が深い方が、学習の進みが速いけど、膝伸ばし直立から始めた場合には及ばない。

実験用ロボット

歩行モーションの修正中。
ステップ実行や通しで確認してるけど、なかなか思うように歩けない。
左右の重心移動が良くない。
二足歩行ロボットの強化学習中。
膝伸ばしの直立姿勢から歩行を始めたのと同様に、膝曲げの直立姿勢から歩行を始めて見た。
URDFは同じ物を使って、関節可動域も同じ設定。
膝伸ばしの直立姿勢から始める場合よりも膝曲げの直立姿勢から始める方が学習の進みが悪いけど転倒せずに歩けた。

実験用ロボット

歩行モーションの修正中。
単独の姿勢は一通り修正出来て、ステップ実行で確認中。
二足歩行ロボットの強化学習中。
4096のバッチサイズを指定出来るPCを手に入れた。
学習回数を増やしても思うように歩けないのは無駄な学習が多いせいかなと思った。
それなら、歩行に必要なエピソードを越えて学習しないようにパラメタを変更してみた所、1000回の学習で転ばないし膝上げする歩行が出来た。
この学習データを元に歩行させたいけど、モデルと実機の差を埋めるのが難しそう。

実験用ロボット

片脚立ち姿勢の調整中。
雑用のせいで進捗無し。
二足歩行ロボットの強化学習で、バッチサイズを小さくしたら学習回数を増やさないと同じ学習結果にならないハズと思ったけど、確認してない。
バッチサイズはバッファサイズや並列数とも表現されるので最初は何を指してるのか分からなかった。

実験用ロボット

片脚立ち姿勢の調整中。
両脚を着いてる姿勢に合わせて遊脚の位置を調整してたら電池切れで中断。
ちょっとした時にマイコンがリセットされる現象が再発。
また、配線が細くなってるのか、原因不明。
二足歩行ロボットの強化学習で、学習回数を5000、6000と増やして見たけど、思ったような動きにはならない。

実験用ロボット

膝サーボの位置を内側へズラして姿勢を調整中。
主に股関節ロール軸と足首ロール軸の角度を小さくすれば良い。
両脚を着いた姿勢の調整は終わった。
片脚立ち姿勢の調整が残ってる。

実験用ロボット

左右の重心移動に難が有るので膝サーボの位置を内側へズラす。
部品を接着したので固まるまで待つ。

実験用ロボット

膝曲歩行モーションを作成中。
ステップ実行で動作確認したら、左右の重心移動が少し足りない事が分かった。
対策を考えよう。
四脚ロボットのバク転スクリプトを見ると、学習ログを再現するスクリプトに似てた。
学習ログからサーボ角度を取り出す所を、計算したサーボ角度を返す関数に置き換えてた。
二足歩行ロボットへ応用するにはどうすれば良いか分からない。

実験用ロボット

膝曲歩行モーションを作成中。
歩行に必要な姿勢を一通り作ったので、最初の姿勢のサーボ角度の差分をチェック中。
pybulletをインストールしようとしたらubuntu.comに繋がらなくて中断、別の日に試そう。
住民票の写しを取りに行ったら、前回無かった転入元住所と本人確認出来る物の確認が必要だった。
転入元住所の確認で本人確認をしたのに更に本人確認出来る物と言われて、何を言ってるのかと思った。

実験用ロボット

膝曲歩行モーションを作成中。
基本の膝曲げ姿勢を元に、脚を前後に開いた姿勢を作ってる所。
二足歩行ロボットの歩行を強化学習中。
学習ログのEpisode lengthを求める正しい方法が分からない。
pybulletをインストールするPCをどれにするか悩む。
WSLで同じバージョンで別名の環境を作れるハズだけど混乱しそうなので別PCにインストールしたい。

実験用ロボット

膝曲歩行モーションを作成中。
基本の膝曲げ姿勢を作って、その姿勢を元に片脚上げ姿勢を作った。
二足歩行ロボットの歩行を強化学習中。
学習ログのEpisode lengthの最長を見つけるスクリプトを作った。
学習回数が500のログだとEpisodeの終了判定ミスで正しい値が求まらない。
tensorboardは、どうやって求めてるのかな。
pybulletで物理シミュレーションが出来るか試したいけど学習ログのスクリプトを作ってて手が着けれなかった。

実験用ロボット

膝曲歩行モーションを検討中。
前機体のメモを見ながら、現機体の膝伸ばし歩行と合わせて、どんな姿勢が必要か考えた。
二足歩行ロボットの歩行を強化学習中。
膝曲げ姿勢で学習回数を500にして10回実行した。
膝を曲げない場合よりも前へ進めてるけど、まだまだ。
強化学習よりも物理シミュレーションがしたいので他のプログラムを探して見よう。

実験用ロボット

膝曲げ姿勢から始める歩行モーションを作ると決めたものの、何も進んでない。
二足歩行ロボットの歩行を強化学習中。
膝伸ばし姿勢で学習回数を500にして10回実行した。
膝を曲げずにコンパスみたいに左右に揺れつつ前へ進んだけど、途中で止まって時間稼ぎをしてる感じ。
動かなくてもEpisodeが長くなる。
膝を曲げて歩いてほしい。
学習の評価スクリプトを学習ログの特定位置迄まで読み飛ばす様に修正したかったけど失敗。
Episodeの終わりは判断出来た。
ビューワーを特定位置まで非表示にする方法が分からない。
genesis humanoid rlの例題スクリプトのエラーはメモリ不足じゃないな。
トレーニングの説明で学習回数の目安が書いて有った。
URDFを指定する場所は見つけた。

実験用ロボット

歩行モーションを修正してたけど、細か過ぎる角度指定はバックラッシュで無効になる場合が有って、上手く動かせてない。
膝曲げ姿勢から始めたら細か過ぎる角度指定は無くなるかも知れない。
二足歩行ロボットの歩行を強化学習中。
膝伸ばし姿勢から始めた学習で、爪先立ち状態で細かく歩いてるのを見れたけど、こんなんじゃ駄目。
genesis humanoid rlをuv環境でインストール出来たけど、例題のスクリプトを起動するとエラーになった。
VRAMが8GB必要らしいので予想してた通り。
トラブルシュートでBackendの指定について記述が有ったのでCPU版なら動くかも知れない。
何処で指定するのか分からないけど。

実験用ロボット

歩行モーションを修正中。
余計な修正をした所を直して通しで動かすと、遊脚を前へ出す時に爪先が引掛かる現象が再現。
爪先を上向きに修正してる途中で電池切れで中断。
二足歩行ロボットの歩行を強化学習中。
学習スクリプトを続けて起動すると、学習データは引継がれないハズなのに学習が進むのは何でかな。
二足歩行ロボットの強化学習の例題を探してたら、genesis humanoid rlと言うリポジトリを見つけた。
uv環境でインストールするらしいので事前準備中。

実験用ロボット

歩行モーションを修正中。
前日に余計な修正をした所を直してる。
ステップ実行で直前の姿勢から遷移すると、前後や左右に揺れてたのがピタリと止まる様になった。
まだ、半分残ってる。
二足歩行ロボットの歩行を強化学習中。
学習パラメタは例題の値に戻した。
初期姿勢の膝曲げ直立で、膝曲げ角度と足裏位置の違いが学習結果に影響する。
片脚を上げた姿勢から始めると更に良くなるかと思ったけど、良くなる角度が見つからない。

実験用ロボット

歩行モーションを修正中。
左右脚の関節角度差分を見直して修正。
通しで動かすと転倒した。
余計な所を修正してしまったかな。
二足歩行ロボットの歩行を強化学習中。
学習パラメタを変更してたら、学習範囲外の軸が動いておかしくなったので、URDFで固定軸に変更した。

実験用ロボット

歩行モーションを修正中。
左右脚の関節角度差分を揃えて来たけど、初期姿勢の関節角度が左右対称になってないのが気になったので修正した。
１度、通しで動かして転倒しない事を確認した。
二足歩行ロボットの歩行を強化学習中。
URDFの関節の可動範囲が大きいので、ロール軸を歩行に限った範囲に変えて見たけど、学習結果はあまり変わらなかった。
学習を1000回実行すると、200回辺りで学習曲線が変わってるのは何だ。

実験用ロボット

歩行モーションを修正中。
通しで動かして、転倒しない場合と転倒する場合がある。
転倒しないのを確認して動画撮影すると転倒する。
何だかなぁ。
まだ見直しの余地はある。
二足歩行ロボットの歩行を強化学習中。
動かさない腕とか頭の部品を減らすと計算時間が減った。
GPUを使うとメモリ不足になってたのを解消する方法が分かったのでGenesis環境を入替えた。
四脚ロボットの学習が１分未満で終わった。