はてなブックマーク

ChatGPT(GPT-3.5?) しゅごいよねぇ... ローカルで(GPU で)似たようなの動かしたい... 追記: 2023/06 時点ですと 8bit 量子化が成熟してきていてで 3090 x 1 で問題なく動きました. また日本語ですと rinna 3.6B がいい感じでした. https://zenn.dev/syoyo/articles/946c17666e10fb LangChain + GPT-NEOX-Japanese-2.7b で日本語 LLM やりとり整備するメモ https://qiita.com/syoyo/items/d0fb68d5fe1127276e2a GPT-NEOX-Japanese-2.7b 試したけどなんか微妙だったネ... とりま LLM では大きさは正義と思いますので, gpt-neox-20b 試します. https://www.infoq.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

背景 2019 年コモディティ品で GPU 計算ノードを構築するメモ https://qiita.com/syoyo/items/cffcd64aa09cdb042b5d あたりで GPU 計算ノード(機械学習, レイトレ, マイニング)を構築している 2019 年からだいたい 2.5 年くらい連続稼働させていて(~10 nodes くらい), インシデントも多少たまってきたので記録です. GPU の障害 1~2 週間連続稼働させているとエラーも出やすくなります. Linux(Ubuntu) + GPU エラーメッセージ集 https://qiita.com/syoyo/items/0707daed0295db6a3ffa GPU fallen of the bus がよく出ます: 熱暴走なり, メモリエラーが原因が多い模様. 基本リブートすれば治る. 機械学習などで長期間回すときは GP

M1 macOS で arm64 native な python と numpy/scipy/matplotlib, Jupyter-lab など入れてデータサイエンスしたい. 現状だと x86 の時と同じやり方でインストールしようとすると, M1(arm64) の場合はコンパイルがコケたりなどしてうまく行きません (pip とか, macports 経由とかでインストールとか) 例えば altivec(みんな知っているかな!) コンパイルフラッグが clang 未サポートで numpy ビルドできないなどの issue があります. いずれ時が解決するでしょうが, 待つのもめんどいです. ソースからビルドするのはもっとめんどい. ぺろっとお手軽に Arm64 native なデータサイエンス環境セットアップしたいですよね. miniforge Apple Silicon, run Sci

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景 OpenGL/Vulkan を使う Windows 10 グラフィックスアプリの画面を Linux PC などに転送したい 同じ部屋や, 異なる部屋にある PC 間で, イントラネットで使う(インターネットで外から繋ぐなどはしない) RDP だと OpenGL 2.x(?) までなので使えない. 追記: OpenGL/Vulkan 機能使えました. おまけ参照. Chrome Remote Desktop だと, 拡張入れるのが気になるし, 認証で一度 Google サーバに繋がないといけないのでめんどい. VNC を試します.

背景 レイトレやビジョン系機械学習(顔認識とか)で画像を出す + GUI がほしい. C/C++ で記述されたもの. ピクセルデータ(配列)から画像データが表示できること cross platform(Linux, Windows, macOS)対応 X11 で画面を飛ばして描画したいなどで, OpenGL を使わないようにしたい x11vnc とかだと画面全体を転送で遅い(=> 10GbE にすればある程度解決するかもだが?) ミニマルな構成 and 環境整備が楽であることが理想 いろいろ開発マシンを変えて開発したり, 各人の PC でも問題なくコンパイルできるように, すぐに環境整えられる or git sumodule で追加できるのが理想 cmake, meson でサクッと追加できる 候補 クロスプラットフォームで Software 描画で, そこそこ機能が充実しているものとして

背景 レイトレーシングや機械学習など, aarch64(arm64) linux のプログラムを書いていたり, ライブラリをビルドしていたりする 市販で入手しやすい Native 環境(e.g. Raspberry Pi 4, Android スマホ + termux や, Jetson AGX とか. だいたい aarch64 4 コア + 8 GB mem な環境) だとビルドが遅かったり, 並列ビルドすると out-of-memory になりつらいので, つよつよ host PC(Threadripper とか)で cross-compile でやりたい 特に embree-aarch64 で ARM のビルドだと, 同等の性能の x86 の 5~10 倍はコンパイル遅いような現象が出て辛い AWS とかでつよつよ ARM インスタンス借りる手もあるが, レイトレーシングなど画面に出

背景 Chainer で書かれた automatic portrait image matting のモデルを, ONNX にコンバートしてモバイルで動かしたい resize_images を pyramid pooling で利用している. onnx-chainer では resize_images のエクスポートに対応していなかったので, 対応しようとしたところ, resize_images(より正確には upsampling + bilinear 補間)の振る舞いが Chainer と ONNX で異なる(TensorFlow とも異なる)ことがわかった Chainer, ONNX, TensorFlow いずれもドキュメントでは bilinear 補間するとだけ書いてあり, 実際どのような bilinear 補間をするのかという仕様がありません. 実のところ, bilinear 補

冬到来! RX470 と ROCm TensorFlow で GPU 機械学習をはじめよう! RX470 8GB mem mining 版(中古)が, 税込 6.5 千円ちょっとくらいで買えるので(2019 年 1 月 10 日時点), お手軽に試せるよ! 優秀な TensorFlow 小学生さまにおかれましては, お年玉で買えてしまいますね. RX470 mining 版はメモリが 8GB で機械学習を始めるのによいのですが, 画面出力が無いので, GPU 内臓の Intel CPU と組み合わせるか, 画面出力用に別 GPU で Linux をセットアップしておこう. 構成 Ubuntu 18.04(16.04 でも動くと思う) RX 470(8 GB mem, mining edition) メモリ 16GB or more Ryzen 2700X ROCm 2.0 https://

+------------------+ includes | | JIT +------------+ +--------------+ | C++ app | <--+- | C++ code |<---| STL header | | | | +------------+ +--------------+ +------------------+ | | C header | | libClang | | +--------------+ +------------------+ | | | libLLVM(MCJIT) | | | +------------------+ | | | STL/libc runtime |----+--------------------------+ +------------------+ link 問題点 (既存のを含め) C++ コードをその

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

漢なら, 単一画像から顔認識したり顔メッシュを復元したりをディープラーニングでやりたいですね! やりましょう! DenseReg DenseReg: Fully Convolutional Dense Shape Regression In-the-Wild https://arxiv.org/abs/1612.01202 顔のセグメンテーション(目, 鼻, 眉とか)と形状推定ができます. Semantic Image Segmentation 用に DeepLab http://liangchiehchen.com/projects/DeepLab.html を使っています. 独自 python caffe layer を使っているので, コンパイルするときには注意です! として python caffe module をビルドすることも忘れずに. ねんがんの DenseReg: Ful

漢なら GPU クラスタで CUDA でレイトレースしたり機械学習したいですね! GPU を使っていないときはマイニングで機材費用の足しにしたいですね. 調べると nicehash とかでは, NVIDIA 系でも性能の出せるハッシュアルゴリズム(?)を使うことができるようです. 今回は(まだまだ先行者利益がありそうな) ZCash をマイニングすることにします. アイコンが「ネ」に見えて素敵ですね. 匿名性を高めた決済用通貨を狙っているようなので, 今後期待できそうな暗号通貨かもしれませんね. Mining tool 今回は以下を使いました. この miner だと, 現在は nicehash pool 専用のようで, ビットコインアドレスで使います(ビットコインに逐次変換されるのかな? ZCash で持ちたい場合は違うツールとマイニングプールを使うことになりそうです) 最高 400 S

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 漢なら GPU でレイトレーシングしたり機械学習ですね! しかし GPU クラスタを組んでも, タスクがあまりなくて遊待(idle)が多かったり, 夜使わないとかだともったいないですね. そこで最近話題の仮想通貨の GPU 採掘(Mining)で GPU 構築費用の足しにしてみることを考えたり, GPU をエージングし稼働耐性の高い GPU 個体を抽出するなどしたり, GPU 性能のベンチマークに使ったりとかしたいですね! ビットコインは ASIC 使うのが強いので, ASIC 耐性が考えられていてまだまだ GPU を使うことに意義のあ

$ clang-tidy file.cc 7 warnings generated. file.cc:1:27: warning: unused parameter 'argv' [clang-diagnostic-unused-parameter] int main(int argc, char **argv) ^ file.cc:4:3: warning: Assigned value is garbage or undefined [clang-analyzer-core.uninitialized.Assign] const char *cpc2 = (const char*)cpc; ^ file.cc:3:3: note: 'cpc' declared without an initial value const char *cpc; ^ file.cc:4:3: note:

漢なら golang で文字列テンプレート処理したいですね! golang では text/template パッケージが標準で入っています. でもサンプルを見ると構造体を作ってデータを流し込んでいてちょっと面倒ですね. type Inventory struct { Material string Count uint } sweaters := Inventory{"wool", 17} tmpl, err := template.New("test").Parse("{{.Count}} items are made of {{.Material}}") if err != nil { panic(err) } err = tmpl.Execute(os.Stdout, sweaters) if err != nil { panic(err) }

漢なら GitHub コミットして Travis ビルドして Bintray へデプロイですね! travisCI + Bintrayによる自動デプロイを試したメモ 参考になります, ありがとうございます. しかし Travis が用意しているサンプル手順 https://docs.travis-ci.com/user/deployment/bintray/ だと, バージョン番号は手動で JSON に書く必要があります. 毎回手作業はめんどうですね... 人間の欲望は飽きない. git tag を打ったら自動でよろしく tag 名でバージョンを設定してよろしく Bintray にアップロードしたくなりますね. そこで sed でバージョン番号とリリース日を travis ビルド後に書き換えた .json を作り bintray にアップロードする手を考えてみました. tinyobjloa

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

漢なら Mac/Win/Linux のクロスプラットフォームグラフィックスアプリ開発ですよね! しかし GPU を用いたグラフィックアプリ開発(OpenGL, Vulkan, OpenCL, etc)だと, リモートデスクトップや X11vnc で画面を飛ばすのは遅くて使いものにならないので, 基本ネイティブに画面を表示することになります. それゆえ, 3 つの 2K モニタで表示して開発という辛い日々が続いていました. また, 色味もモニタごとにことなるので, レンダリング画像の比較も難しい状況でした(毎回レンダリング画像を特定のモニタに転送して比較) そんなとき, ふとしたことから, 最近の 4K モニタでは PbP(Picture by Picture)で 1 つのパネルに別々の画面(input source)を表示できるという噂を聞きつけましたので, PbP で画面を集約することで

春到来ですね! github で公開しているオープンソース C++ コードの外見もリフレッシュして新しいジブンにチャレンジしたいですね! あわよくば運命的な C++ 出会いも期待できちゃうかも...! そこでここでは, 春トレンドを先取りした C++ スタイルコーデを集めてみました. Google C++ Style Guide みんなの憧れ, デキる大人のギロッポン外資系クールな C++ スタイル! なんだかルールがいっぱいで大変そう... と思ったズボラでうっかりな性格のアナタでも大丈夫! cpplint がコーデを自動でチェックして全力アシスト! LLVM Coding Standards アーティスティックでスタイリッシュ, でもちょっとコンサバな新宿スタイル! clang-format と組み合わせて周りの視線をがっちりキャッチ! WebKit Code Style Guidel

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 自分で作ったオープンソースな C++ ライブラリ, メモリリークやバグの少ない状態で, いろいろな人に安心して喜んで使ってもらえるように, 普段から内面をキレイに保っておきたいですよね! ここでは C++ のコードを内面からキレイに保つレシピを集めてみました. (追記) @MitsutakaTakeda さんの C++ コードのデトックスも合わせて読んで, この春, 一歩先行くぬけがけ美ワザを極めちゃお! http://qiita.com/MitsutakaTakeda/items/6b9966f890cc9b944d75 Instru

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 漢は黙ってシングルファイル C/C++ ライブラリですね! シングルファイル C/C++ ライブラリとは, ヘッダファイル .h ひとつだけで機能が実装されているライブラリ(もう少し条件をゆるくして .cc も含む)のことです. header-only とも言われれたりします. このあたりの元祖は nothings 先生 http://nothings.org/ ですね. 最近は github にコードをあげています. シングルファイル系のライブラリまとめ一覧もあります. シングルファイル系が便利すぎてやばいので, 自分でもいくつか作り

漢なら GCE で Preemptible VMs を instance group で 100 万インスタンス規模でオンデマンドで立てて分散レイトレーシング処理を短時間で行いたいですよね! でもまだベータ機能なので 100 万インスタンス起動は無理そうですので, とりあえず準備として instance groups で Preemptible VM をささやかに立ててみましょう. できました. Terminate モードに設定を忘れずに gcloud CLI 経由で作業するものとします. instance template の create 時に --preemptible (--preemptive で無いことに注意!) に加えて, maintenance-policy を TERMINATE に設定する必要があります. --maintenance-policy TERMINATE T

(本稿は, システム系論文紹介 Advent Calendar 2014, 12/20 です http://www.adventar.org/calendars/440) 論文は arXiv から取得できます. http://arxiv.org/abs/1406.2294 Jump Consitent Hash と呼ばれる, 分散ストレージ系で有益なハッシュ関数を求めるアルゴリズムです. 現在史上最強のハッシュアルゴリズムのひとつと言えるでしょう. 無性に分散ストレージライブラリを作りたくなってきますね! 共著者の Eric Veach にも注目です. Google を救ったと言われている distinguished engineer です. (G 社のひとは彼の名前を社員名簿データベース? から探してみましょう! 社員番号 20 くらいにあるらしいですよ!) そんな彼がなんと 10 年以

LLVM には C++ と C API が用意されています. 最近は FTL http://blog.llvm.org/2014/07/ftl-webkits-llvm-based-jit.html のおかげで C API の整備が大分進み, 十分使える感じになっています. C API のほうがコンパイル時間も短くて済み, また言語バインディングを書くとなども, リンケージや ABI 問題に悩まされなくなります. これからは C API で書いておきたいですね. LLVM C API のサンプル ひとつの大きな問題はドキュメントやサンプルコードがオフィシャルには無い事です. 幸い FTL(webkit) には RefucedFTL という謎(?)の LLVM C API を使ったサンプルがあります. これをみれば大体わかりますね! 昨今の LLVM では MCJIT が推奨のようです. E

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

# server.py import socket import itertools HOST = '' PORT = 8081 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind((HOST, PORT)) s.listen(1) conn, addr = s.accept() print 'Connected by', addr ret = [] while 1: #print "recv" data = conn.recv(1024*1024*1024) #print "len:%d", len(data) if not data: break #ret.append(data) conn.close() print "done" # client.py import socket from datetime im