待ってる時間暇なのでStable diffusionをためしてみた。最初Pytorchの入ってるテンプレートからインストールを試みたが失敗。調べてるとSDが入ってるTemplate
SD WebUI A1111 軽量版
SD WebUI Forge 多機能版
があるようだ。これで試してみるか。
またっぱいした。て言うか。いちいち纏めて実行しなくてもデータ読み込んでランダムピックアップした奴を保存して、また使う際にLOADすりゃいいんだな。最初からその路線にすべきだったぜ。
さあ今日も始まるぞ。
TFでランダムチョイスやった場合の負荷は
CPU: 4.80% Memory : 5510.05 MB
ストリーム形式で順次 ピクル保存は
CPU: 8.70% Memory: 602.01 MB
ピクルの方が時間かかるけどTFは何かできたデータで頻繁にエラーがくるからストリーム的に処理してピクルに保存した方が安定度は高いな。
ピクルはAIのハルシネーションだった。勝手にデータ個数制限してました。フルデータでやったら24GB食い尽くしてPCスタック。
やっぱ大量データはPandasやNumpyなど利用せずTFでやるのが一番との結論。
Dataset total samples (batched): 635489
CPU: 1.9%, Memory Used: 6110.0 MB
70万件のデータも6GBぐらいで対応可能。
起動・ログインできない国
韓国X4
日本X1
ロシアX1
タイX2
香港X1
起動できた国
台湾X3
タイX1
ベトナムX2
香港X2
何か起動できないGPUはやたらと安い事に気づいた。何か理由がありそう。
例えば4090で時間あたり0.3USDのものは大体起動できてる。一方0.25USDぐらいになるとほぼ起動できない。
さあ今日も頑張るか
「いいね！」 1
んー何か前半にわけのわからないデータができて意味不明になってる。
でも結局１２５付近にしか無いからうまく言ってるわけではなさそう。
データ長を1024にしたんだけどそれが失敗だったのか。もう少し検証せねば。
[Joint] Step 150, Rec: 0.0006, G: 0.6922, Sup: 0.0225, D: 0.6942
[Joint] Step 200, Rec: 0.0006, G: 0.6934, Sup: 0.0149, D: 0.6931
[Joint] Step 250, Rec: 0.0007, G: 0.6931, Sup: 0.0117, D: 0.6933
[Joint] Step 300, Rec: 0.0007, G: 0.6942, Sup: 0.0089, D: 0.6922
[Joint] Step 350, Rec: 0.0006, G: 0.6940, Sup: 0.0076, D: 0.6923
[Joint] Step 400, Rec: 0.0006, G: 0.6944, Sup: 0.0063, D: 0.6920
[Joint] Step 450, Rec: 0.0006, G: 0.6925, Sup: 0.0059, D: 0.6939
[Joint] Step 500, Rec: 0.0005, G: 0.6921, Sup: 0.0050, D: 0.6943
[Joint] Step 550, Rec: 0.0006, G: 0.6923, Sup: 0.0043, D: 0.6941
[Joint] Step 600, Rec: 0.0005, G: 0.6925, Sup: 0.0042, D: 0.6939
この生成と識別がともに0.693と言うのはLOGの0.5で拮抗状態を表すらしいが
こうなるとよくない拮抗が起こってる可能性がある。さっきからこの状態が続いてるんだよね。
長期SMA食わせたせいか。Stride設定したせいか。うーん、また明日考えよう。これは一進一退だな。
結局一番まともにできたのが限定的なデータを無整形で食わせた場合か。長期変動の特徴量は検出できなかったけどこの一番単純な方法が一番うまく言ったっぽい。
あれか、結局長期成分をとらえすぎな理由か。
今日も一日が始まるぞ。ちょっと戦略を考えよう。多分同時に複数の特徴量とらえようとしてミスってる気がしてきた。
今日は戦略考えて一日終わったな。
いきずまってしまったな。下手にデータ整形して食わせようとするとかえって変になってしまう。状況改善のヒントをえようとしても誰も分かる人がいない。ってのは自習の辛いところ。KAGGLEコミュとかに紛れ込んだら誰かヒントくれるかな。
「いいね！」 1
sma200さんが何を試行錯誤されているのか、1mmも理解できず…何のお役にも立てませぬが（投機の参考になるデータ分析をVIBEコーディングで作っているのですか？）経過報告ありがたく思っています。
VIBEコーディングネタでは
最近技術系PodcastのBackspaceのネタ帳というウェブサイトが、VIBEコーディングで作られているらしく、とうとう私の問いでつながるWEBサービス企画「ポコポコQ〜イイ質問だね 
〜」のアイデアもあと半年もすれば、言葉だけで容易く作って公開できるまでになる！？いやそれはリップサービスで、さすがにそこまではいかないんじゃ？何だかんだで機能修正や機能追加するとデグレードが起こるので、バージョン管理システムのGitとウェブアプリの公開の手順ぐらいは知ってないと難しそうだなと↓の回を聞いてて思いました。
「いいね！」 1