はてなブックマーク

Systems Performance: Enterprise and Cloudを読んでいく。 前回に引き続き自分用メモ 2章は長かったので、3つくらいに分ける予定。その2は5節のみ。 2.5 Methodology このセクションではシステムパフォーマンスを分析するための方法論を紹介する それぞれの手法はobservational analysis, experimental analysis, capacity planningなどに分類されていて、表2.4にまとめられている 比較のためのアンチパターンから始まり、パフォーマンスモニタリングやキューイングセオリーがこの章で挙げられている。 2.5.1 Streetlight Anti-Method この手法は明確な手法がないような手法を指している ユーザが知っているコマンドを使って問題を特定しようとすることを表し、この方法で問題は見つ

Systems Performance: Enterprise and Cloudを読んでいく。 https://www.amazon.co.jp/Systems-Performance-Enterprise-Brendan-Gregg/dp/0133390098www.amazon.co.jp 日本語版しかないけれど、読み始めたら面白かったので、一字一句読み飛ばさず頭から読んでみるか!という気持ちになっている。(いつまで続くかは不明) 英語訳しながらだと全容が見えてこなくて辛いので、メモしていく。 1.1 Systems Perfomance System performanceはシステムの全体(ハードもソフトも含む)を考慮する必要がある。 自分の扱うシステムの概要を書いて見ることは自分の理解のためになる。 図1は一般的なソフトウェアースタックを示したものである。 図1 1.2 Role

Pgtoolsというツールを作りました。 github.com 遡ること去年の夏休み、、、 はてなインターンでの課題の一部として、PostgreSQL版のPercona toolkitがあると便利!というのが始まりだった気がする。 Percona toolkitというのは海外のMySQLコンサル会社が公開している、MySQL運用のためのコマンドラインツール。 pt-xxxという便利コマンド郡で、tcpdumpやログファイルから実行されているクエリのプロファイラ結果をまとめてくれたり、オンラインでスキーマを変更してくれるツールなど、とにかくいろいろある。 www.percona.com これを参考に以下のコマンドを作った。 pg_config_diff PGサーバを2つ以上指定して、そのサーバ間で設定の異なる部分を指摘してくれる $ pg_config_diff "192.168.33.21

Ubuntuで、キーボードの数字と記号を入れ替え(シフト無しで記号、シフトありで数字になる)ようにしようとしていた。 .profileで予め用意したキーマップをxmodmapコマンドで上書きしようとしたけど、Unityに上書きされるのか、上手く書き換えられなかったので、Systemdを使ってどうにかしようとした時のメモ。 結局途中でキーマップの変更方法は正しい方法が見つかったので、やっていない。 まずはsystemdの仕組みがわかっていなかったので、調べた内容から。 参考のURLを読めば仕組みは詳しく書いてあるので、まずはそれを読む。 特徴 高速なシステム起動と終了 高い並列度でプロセスを扱う 設定ファイルによるシステム管理の共通化 柔軟なプロセス起動 タイマーによる起動 socketへの通信検出によるプロセス起動 所定のパスへのファイル作成をトリガーとしたプロセス起動 cgroupsによ

第7回 PostgreSQLアンカンファレンス@東京(2016年5月28日) : ATND に参加してきた。 アンカンファレンスというイベント自体初参加だったので、発表したい人たちでプログラムが出来ていく雰囲気を味わえて面白かった。 僕自身は以前のブログで書いた"Slony-Iを使ったレプリケーション実験"の内容について発表をした。 ↓スライド speakerdeck.com 途中でアンケートをした結果、PostgreSQLでレプリケーションクラスタをオンラインアップグレードするような案件はほとんどないということがわかり、だいぶ宙に浮いた気分で発表していた。 2つのセッションが同時に進行するので、片方しか聞けなかったが、予想以上にガッツリPostgreSQLを使っている方の発表がが多かったので、「使ってみた」程度の発表で申し訳なくなった。 次回発表するとしたら、ある程度具体的な知見が溜まって

はてなのアルバイトでmaster-slave構成のPostgreSQL(9.3.*)クラスタをアップグレードするための調査をすることになりました。 サービスの性質上できるだけ無停止でアップグレードする必要があったため、Slony-Iを使ったダウンタイムなし(もしくは最小)のアップグレードに向けて調査・実験した内容を紹介します。 背景 Slonyについて 実験内容 環境・準備 レプリケーションの作成 スイッチオーバ 今後の課題 参考 背景 PostgreSQLでメジャーバージョンをアップグレードするにはdump/restoreかpg_upgradeのどちらかの方法で行います。 しかし、このどちらもデータベースの停止が必須です。さらに、メジャーバージョン間ではシステム内のデータ形式の互換性が保証されていないため、異なるメジャーバージョン間ではレプリケーションを行うことができません。 そのため、

国際学会でポスター発表することになった。 とにかく英語論文の内容を説明するのはきびしいものなので、質疑応答に関するテンプレートを作ってそこは丸暗記する。 相手の質問の解釈と返答に思考リソースを割きたいので、この辺でつっかえて相手の興味を不意にしないようにしたいという意図。 基本的には参考のURLの内容や先輩のメモを参考にまとめ直しただけの内容です。 相手の質問がわからない場合 Slow down please. ゆっくり話してください。 I'm not following you, please repeat again. (I don't understand は失礼な答え方) 質問がわかりませんでした。もう一度お願いします。 I couldn’t hear your question. 質問が聞こえませんでした。 I will answer your (second/last) que

毎日パソコンに向かっているせいで肩こりがやばいという人は多いと思う。 僕もしょっちゅう肩こりに悩まされていた(いる)ので、僕なりの解決策を挙げてみる。 とにかくPC作業のボトルネックだと思っているので、誰か他に知見があれば教えてほしい。 内容は後半に行くに従って大した内容ではなくなります。 <目次> 肩こり解消の体操 バンテリン 肩・首を温める 日常の筋トレ 他 肩こり解消の体操 これを紹介するためにこの記事を書いたと言っても過言ではない必殺技。 最近知って、とにかく楽になったので、肩こりひどい人はやって感想を聞きたい! www.youtube.com www.youtube.com この2つが僕の肩こり症状をかなり改善してくれた。 とはいっても肩こりがひどくなって頭痛がしてからでは遅くて、肩張ってきたな〜というくらいの時にやるのが大切。 バンテリン バンテリンを肩から首筋に塗って寝る。

8/10 ~ 9/4で開催された「最高!」なインターンであるはてなサマーインターンに参加してきました!技術賞も頂けて最高でした。メンターしてくださったichirin2501さん、wtatsuruさん、halfrackさん、関わって下さったみなさん本当にありがとうございました! サマーインターン参加にあたって、過去のインターン生の方がブログを書いていてくれたことが非常に良かったし、それこそがはてな!という感じもするので、僕もこのインターンのまとめを書こうと思います。なんだか書いているうちにあれもこれも長くなってしまったので、必要な箇所だけでも読んでいただけると嬉しいです。 <目次> 参加まで 事前課題 周辺環境 前半過程 後半過程 はてなインターンのススメ 最後に 1. 参加まで 6月くらいに「今年のインターンは、はてなに行きたい」と思っていました。はてなに行きたいのは、まあそうだよね。 今

つい最近までバイト先でElasticsearchを使っていたのだが、優先度的に当分触らなくなってしまいそうなので、自分のPCで構築しつつ復習してみます。 Elasticsearchに関する基本的な知識はちょっと古いけど下の書籍がおすすめです。 ( ↑公式のドキュメントと共にだいぶお世話になりました) 今回は実験としてPDF, PowerPointの文書を登録して日本語で検索してみます。 目次: 1. mac環境でのElasticsearchのインストール 2. プラグインのインストール 3. 日本語対応 4. pdf, ppt等の対応 1. mac環境でのElasticsearchのインストール brew install elasticsearch これだけ。 yumと違ってほぼ最新版が持ってこれるので楽ちん。 yumももうお亡くなりになったそうだけど、、、 (O_O) 2. プラグインの

データベースのお勉強は楽しいのだけれど、実際に何かしらのデータを例に実験をしてみたくなったので、早速やってみる!(=゚ω゚)ノ とは言っても大きめのデータなんて手元にないので、まずはデータ収集から始めます。 今回のタイトル「MySQLで実験」はデータやハードの環境・DB製品等を徐々に増やしてシリーズ化したいなーと思っています。協力してくれる人募集中 ε-(/・ω・)/ あと、いい感じのデータも募集中 ( ・_・)r 。o O (メモリに載り切らなくて、joinするテーブル3つ以上あるような、、、ね、、、) 今回の記事で書くのは以下2つ 1. 集めてくるデータ・データ元を決める 2. 集めてくる(Seleniumをつかって) 2.1 Seleniumのインストール 2.2 操作の録画 2.3 Xpathに修正 2.4 Pythonのコードに落とす 2.5 必要な処理をPythonで書く

もう2週間以上前の事になってしまったが、松信 嘉範さんのデータベース[実践]入門を読んだ。 自分のブログ見返してみると、どうもプログラム書いてる人に見えないのである。 ちょっとは勉強してる内容とかも書かないと誤解されそうだ!と思い始めた((((;゚Д゚))))ガクブル。 ここ1,2ヶ月で言うと 研究室の課題・今後の実験:Java API叩いたり手軽に使うの:Python (パーフェクトPythonで勉強中w) プロコンとアルゴリ:C++ (ごくわずかな時間( ・_・)r ) バイト先:SQL, Python って感じでちゃんとコードも書いてます( ー`дー ́)キリッ (web開発してないので、PHPは、、、) とかとか、大学の研究テーマも決まってきて忙しい一方で、一般的なPCではメモリに全く載りきらないようなデータをRDB上で扱ったりして、データベースへの興味が高まり続けています。 特

概要 ibdファイルの中身をパース、ダンプしてくれるツールが出ていたので、試して見たメモ。 github.com こんな感じで見れるというサンプルとして残しておきます。 sysbenchで作った1000000レコードのテーブルsbtest1とmysql.ibdを見て見ています。 build クローンしてmakeコマンド叩くだけ。 git clone https://github.com/KernelMaker/ibdNinja cd ibdNinja make mysqldなど、いろいろビルドしている実験用サーバなので、パッケージは揃っている。 なければいろいろ必要かも? help $ ibdNinja --help |--------------------------------------------------------------------------------------