はてなブックマーク

Jaegerとは Jaegerは、分散トレーシングを実現するOSSです。分散トレーシングとは、マイクロサービスアーキテクチャーで分散されたサービス間のリクエストのフローを追跡することで、システム全体のパフォーマンスの改善とトラブルシューティングに役立てる機能です。 例えば、以下のような複数のサービスで構成されたアプリケーションの遅延の原因を特定するようなケースでJaegerは役立ちます(サービスが多ければ多いほど)。 Jaegerは、OpenTelemetryというOSSのライブラリーなどを利用してトレースデータを収集し、それを可視化、分析することで、モニタリングやデバッグを容易にします。これにより、クラウドネイティブなアプリケーションの開発、デプロイ、運用を支援します。 基本情報 ライセンス:Apache-2.0 license 実装言語:Go 開発元:Uber Technologies

OpenTelemetryとは OpenTelemetryは、マイクロサービスアーキテクチャーで分散されたサービス(アプリケーション)の健全性や性能を示す「テレメトリーデータ」を生成、収集、管理、エクスポートするためのOSSです。 大規模な分散システムでは、健全性や性能を把握することが極めて困難なため、迅速なトラブルシューティングのためにはテレメトリーデータの収集が求められます。分散されたサービス(アプリケーション)からテレメトリーデータを収集するには、それらのアプリケーションが異なるプログラミング言語で実装していたとしても、それらに組み込むことができる、標準化された(ベンダーに依存しない)APIやSDKなどが必要です。それを提供するのがOpenTelemetryです。 OpenTelemetryの目的は、あくまでもテレメトリーデータを簡単に生成、収集、管理、エクスポートできるようにするこ

「特徴量エンジニアリング」とは、大雑把に言えば「機械学習モデルの予測精度を上げるための入力データの加工」のことですが、実はこの言葉の定義には曖昧さがあります。様々な記事を読むと、この言葉は使う人により若干意味が異なっていることが分かります。 例えば、ある記事では、欠損値の補完は「前処理」で、カテゴリカルデータのワンホットエンコーディングが「特徴量エンジニアリング」と解説されています。一方、別の記事では両者とも「特徴量エンジニアリング」と解説されています。したがって、この言葉でイメージするものは人によって異なっていると言えます。 データサイエンティストの中でも自然言語処理をメインに扱う人にとっては、ストップワード1の除去や用語の出現頻度の算出などをイメージするかもしれません。 そこで、この記事では2023年12月26日発売の以下の書籍の内容をもとにできるだけ簡単に、特徴量エンジニアリングを説

はじめに この記事では、Streamlitの概要を説明し、Streamlitを使ってデータ分析Webアプリを実際に開発する中でStreamlitの機能をいろいろと紹介していきます。最終的に以下のようなApacheやTomcatなどのアクセスログを解析するWebアプリをつくります。 Streamlitとは Streamlitは、Pythonで実装されたオープンソースのWebアプリケーションのフレームワークであり、機械学習やデータサイエンス向けのグラフィカルなWebアプリを簡単に作成して全世界に公開(クラウドサービスにデプロイ)できます。 主な特徴 Pythonのみで実装可能(HTMLやCSS、JavaScriptなどフロントエンドのコードを書かなくていい) 豊富なウィジェットが利用可能 Google ColabやJupyter Notebookで作成したPythonのコードがほぼそのまま利用

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

<Resource name="jdbc/MyDB" auth="Container" type="javax.sql.DataSource" driverClassName="com.mysql.jdbc.Driver" factry="org.apache.tomcat.jdbc.pool.DataSourceFactory" url="jdbc:mysql://dbserver.example.com:3306/db4app" username="dbuser" password="xxxxxxxxxx" initialSize="20" maxActive="20" /> mysql> show processlist; +------+--------+---------------------------------+--------+---------+------+----

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

この記事では、Keycloakが出力するログについて説明します。実はログの設定について、Keycloakの公式ドキュメントにはほとんど記載がありません...ということでこの記事を書きました。 なお、このドキュメントを書く際に使用したバージョンはKeycloak 6.0.1ですが、他のバージョンでもおそらく同様だと思います。 はじめに Webアプリケーションが出力するログには、一般的に以下があります。 デバッグログ アクセスログ 監査ログ Keycloakでは、通常、デバッグログ(※(注記))とアクセスログをファイルに出力し、監査ログ(監査イベント)をDBに登録します。 さらに、Keycloakではリクエスト/レスポンスのヘッダーの情報や発行したSQLをログに出力することや、いくつかのJVMオプションを付加してGCログやOOME発生時のヒープダンプなどを出力することもできますが、それらについてはまた

「記事を書いてみたものの文字ばかりで味気無い」、という時にちょっとだけ変化を付けられる(...かもしれない)ビジネスマンの画像をつくってみました。 GitHubに上げたので、よかったら使ってみて下さい(記事以外でも使えるかもしれません)。 吹き出しに一言付け加えて記事の合間に配置すると、アクセントになると思います。実際にこれを使って書いた記事がこちらです。このようなストーリー性のある記事には使えるのではないかと思います。 絵の下に何をしているところかを表す作者(私)の意図を書きましたが、これに必ずしも従う必要はありません(見え方が曖昧なものも多いので)。 効果的に使用するには、以下のようなことに気をつけてください。 使い過ぎない 吹き出しを付ける場合は、言葉は短くする 拡大・縮小しすぎない ちなみに全てPower Pointで一からつくっています(これをつくりたいので、Power Poin

正常に動作しないスクリプトやプログラムに標準出力処理(echoやSystem.out.print()など)を追加して、デバッグした経験は誰にでもあるのではないでしょうか。標準出力処理の追加は、簡単なプログラムの動作検証から制限などによりデバッガーを使用できない環境での調査まで、いろいろな場面で活用されていると思います。 しかし、1行の標準出力処理の追加でもプログラムの動作を致命的に変える可能性はあります。 過去に、echoが原因でバッチが停止した問題の対策のために、JavaのプログラムにSystem.out.println(・・・);の1行を追加した結果、アプリケーションが応答を返せなくなったことがありました。その時の記憶を、サンプルプログラムを交えながら説明したいと思います。 年次バッチが停止した! 10年ほど前のある日、あるシステムの保守を担当していた私のもとに「年次バッチが停止してし

この記事は、Javaでディープラーニングをやってみたいけど、第一歩目が踏み出せない人の背中を押すことを目的として書きました。簡単にディープラーニングの力を体験できるので、ぜひ読んでみて下さい。 対象読者 以下のいずれかの人を読者として想定しています。 ディープラーニングをやってみたいけど、Pythonでプログラムを書いたことないからなぁ...というJavaプログラマー 何らかの理由により、Javaでディープラーニングしたい方 Deeplearning4jを使ってみたい方 この記事を読むことで、IntelliJでDeeplearning4jを使ったディープラーニングの開発環境を構築して、手書きの数字を識別できるようになります。また、数字の識別の他にも多数あるディープラーニングのサンプルを実行できるようになります。ただし、この記事からはディープラーニングの理論を学ぶことはできません。ディープラーニ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

スタンフォード大学が提供するCourseraの機械学習コースの課題を日本語訳して、GitHubに公開してみました。 Courseraの機械学習コースの日本語訳 課題に含まれるPDFとスクリプト内のコメント部分を日本語訳しています。 以下のような方(で特に英語で苦戦した、しそうな方)にとって、役に立つのではないかと思います。 これから機械学習の勉強を初めてみようと思っている方 このコースを受けたけれど、挫折した方 講義のビデオは見たけれど、課題をやっていない方 このコースを既に修了したけれど、オプションの演習などを飛ばした方 このコースを既に修了したけれど、スクリプトの細部の実装などを見ていない方 このコースを既に修了したけれど、今の自分の能力を確認したい方(例えば、受講当時よりも、洗練されたOctaveの実装ができるかを確認してみる) Octave以外の言語(Pythonなど)で課題を1か

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 Keycloakアドベンドカレンダー3日目は、Spring BootベースのWebアプリケーションの認証をKeycloakに委譲する手順について説明します。KeycloakにはSpring Boot用のアダプターがあり、簡単にSpring BootベースのWebアプリケーションをセキュリティ保護できます。これにより、最新の認証プロトコルである**「OpenID Connect」**(以下OIDC)に対応したセキュアなSpring Bootアプリケーションとなります。 連携ができると、ユーザーはOIDCの「End User」に、Spring BootベースのWebアプリケーションはOIDCの「Relying Party」に、KeycloakはOIDCの「OpenID Provider」になります。 はじめる前に このチュートリアルの操作をはじめる前に、Keycloakのセットアップを完

概要 システム構成図などを作成しようとすると、ユーザーやサーバーの図形を使うことになりますが、ライセンスを気にせずに、タダで使えて、見た目がそれなりによくて、統一感があるものは、なかなか見つからないですよね。無いならつくるしかない、ということでつくってみました。 この図をつくっているパーツを含むPowerPointもGitHubに公開したので、ある意味オープンソースです。グループ化を解除すれば、各パーツに分解できます。 昨日から作り始めたので、まだ納得のいくものになっていませんが、これからクオリティを上げていきます。 ちなみにWindows 10のPowerPoint2013でつくっているので、LibreOfficeなどでは正常に表示されません。最初からMacかUbuntuで作図した方がもう少しマシなデザインになったと思いますが、職場はWindowsという人が多いと思うので、PowerPo

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

脆弱性診断ツール「OWASP ZAP」は、脆弱性だらけのWebアプリケーション「EasyBuggy」の脆弱性をどの程度検出できるでしょうか? 今回は次の基本的な機能で検証してみました。 簡易スキャン:WebアプリケーションのルートのURLを入力すると、OWASP ZAPがその配下をクロールして脆弱性があるか診断する。 静的スキャン:ブラウザ上でWebアプリケーションの基本的な機能を一通り手作業で動かすと、OWASP ZAPがレスポンスの内容などを検査する。 動的スキャン:静的スキャンで行った操作を、OWASP ZAPがリクエストパラメータを変えるなどして再実行し、診断する。 なお、検証で行った作業内容もこのページ載せていますので、OWASP ZAPを試してみたい方は参考にしてみて下さい。 はじめに OWASP ZAPとは その前にOWASP ZAPについて簡単に説明しておきます。「OWAS

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

リフレクションの乱用リフレクションや、リフレクションを使った技術(例えば、DI)の乱用はソースコードの解析を難しくさせます。 DIはクラス間の結合度を弱めて、開発やテストを効率化する効果があります。 しかし、それ故に依存関係を調べるときに苦労を伴います。EclipseなどのIDEで呼び出し階層を調べても、DI(リフレクション)による呼び出しは検出することができません。バグを修正して、その修正が他の機能に影響を与えないか確認するには、全ての呼び出し元を確認する必要があります。DIの利用箇所が明示的に分かるような実装であれば問題はありませんが、そうでない場合は影響範囲の特定が困難になります。 また、リフレクションを使えば、privateメソッドにもアクセスできます。privateメソッドのロジック修正に伴う影響範囲の確認のために、リフレクションによる呼び出しまで考慮するプログラマーはいないと思

静的コード解析ツールはバグや脆弱性をどの程度検出できるのでしょうか? 前回、FindBugsでバグだらけのWebアプリケーションを解析してみましたが、今回はSonarQubeで解析してみました。 検証内容 バグだらけのWebアプリケーション(EasyBuggy 1.3.3)が、現在実装済みのバグや脆弱性は以下の80種類です。 障害 デッドロック (Java) デッドロック (SQL) 完了しないプロセスの待機 無限ループ メモリリーク (Javaヒープ領域) メモリリーク (Permanent領域) メモリリーク (Cヒープ領域) ネットワークソケットリーク データベースコネクションリーク ファイルディスクリプタリーク スレッドリーク 文字化け 整数オーバーフロー 丸め誤差 打ち切り誤差 情報落ち 脆弱性 XSS (クロスサイトスクリプティング) SQLインジェクション LDAPインジェク

はじめに 脆弱性を理解するには、実際に脆弱性を攻撃してみるのが一番です。 といっても、脆弱性のありそうなサイトを見つけて攻撃してみよう!と言っているわけではありません。自分だけが使っている仮想マシンの上で、脆弱性のあるアプリケーションを動かし、攻撃してみることをお勧めします。 脆弱性は、以前紹介したバグだらけのWebアプリケーションにたくさん実装してあります。Webアプリケーションはここからダウンロードして、次のコマンドで起動します。 ※(注記)実行するにはJavaが必要です。詳細については、こちらのページを参照して下さい。 このWebアプリケーションは、現時点で以下の脆弱性を実装しています。 XSS (クロスサイトスクリプティング) SQLインジェクション LDAPインジェクション コードインジェクション OSコマンドインジェクション メールヘッダーインジェクション Nullバイトインジェクショ

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?