はてなブックマーク

はじめに こんにちは、ヒョンスクです! 2024年8月1日から2日までにパシフィコ横浜ノースで開催されたGoogle Cloud Next Tokyo ’24に行ってまいりました。 新製品の発表、技術デモ、顧客事例発表など、さまざまなセッションが行われまして参加するのが忙しかったです。そして、Googleのクラウド技術を活用したソリューションを直接体験し、学ぶ機会を得ることができて楽しめました。 最も記憶に残る「Gemini で実現するマルチモーダル生成 AI – ユースケースとアーキテクチャの理解を深める」というセッションについて関連する情報とともにレポートします! セッション概要 セッションタイトル Gemini で実現するマルチモーダル生成 AI – ユースケースとアーキテクチャの理解を深める セッション レベル:中級者 登壇者 Google Cloud 遠山 雄二 カスタマー エン

Amazon BedrockのKnowledge BaseでRAGを構築し、RDSのデータを分析するアプリケーションを開発する はじめに こんにちは! 第一SAチームのshikaです。 普段、あるAmazon RDS上のデータベース(MySQL)に対し、SQLを実行してデータを参照しています。 毎回SQLクエリを実行するのが手間だったので、データ検索を容易にするWebアプリケーションを開発しました。 このアプリケーションには、AWSの生成AIサービス「Amazon Bedrock」を活用しており、生成AIを用いた対話式の検索機能を実現しています。 できあがったアプリケーションの画面は以下です。 データはテストデータを使ってます。以下の通り、架空の会社の従業員情報に関するデータです。 本記事ではこのアプリケーションの構成、仕組みについて、特にAmazon Bedrockの部分を重点を置いて解

はじめに 本記事では Aurora MySQL 使用時の Performance Insights を使った DB パフォーマンス分析について記述します。 データベースを日々運用していると、データベースの処理が遅いなんてことがあるかと思います。他にも、CPU 使用率やメモリ使用率などがだんだん高くなっているが原因がわからないという課題を抱えている方必見の RDS 機能についてご紹介します。 なお、本分析内容は Aurora MySQL5.7 互換が対象となっております。他エンジンやバージョンでも Performance Insights の使い方については変わりないですが、パフォーマンス分析をする際に見ていく項目が異なるためご注意ください。例えば、待機イベントの内容については、各 DB エンジンやバージョンによって大きく異なります。 また、本環境では、MySQL のパフォーマンススキーマは

こんにちは、クラウドリードチームのフクナガです。 みなさん「Terraform」使ってますか? クラウド利用の拡大に伴い、多くの会社でIaC(Infrastructure as Code)を取り入れようと様々な取り組みをされているかと思います。 私も、その中の1人として約3年ほどTerraformを利用した環境構築や運用に携わってきました。 今回の記事では、Terraformをより堅牢に利用するための仕組みとそれを構築するためのCloudFormationテンプレートをご紹介します。 TerraformにおけるCI/CDパイプラインの重要性 Terraformソースコードは、「terraform apply」コマンドを実行することで環境へ適用することが可能です。 本記事では、terraform applyを実行する部分をCI/CD(継続的インテグレーション/継続的デリバリー)として構築/利

こんにちは、tkgです。 最近、Terraformをよく利用しているのですが、一からリソースを定義していくと思ったより手間がかかると感じています。 Terraformにはmoduleというテンプレートや関数のような概念があるのでそちらを定義して利用していくことも考えられますが、実運用で自作のmoduleを利用していくと逐次整備が必要になってくるなど、後々のコスト増が容易に想像できます。 今回はTerraform Registryで公開されているTerraform AWS modulesを使ってAWSリソースを作成してみることにしました。 想定読者 Terraformを利用して簡単なAWSリソース作成が出来る方 「Terraform AWS modules」などコミュニティベースのmoduleを利用したことがない方 前提環境 今回は下記のようなterrafrom実行環境を準備しています。 $

はじめに AWS KMS(Key Management Service)は暗号化/復号に利用する「鍵」を管理するサービスです。AWSの多くのサービスは暗号化機能を有していますが、暗号化に必要な「鍵」は、このKMS上で管理されています。 「管理」とは「鍵を安全に保管し、必要なときに、必要な相手に提供する」ことです。データは暗号化を行うことで保護されますが、暗号化に必要な「鍵」は自分で保護しなければなりません。ファイルとして自分のPCに保存しても良いですが、他のユーザやアプリケーションに鍵を利用させたい場合はどうでしょうか。ファイルとして鍵を渡してしまうと、相手は制限なく利用したり、複製する事が可能となってしまいます。 KMSでは、IAMポリシーによるアクセス許可や、Cloud Trailによる利用履歴のトレースなど、AWSの仕組みを利用した鍵の管理が実現出来ます。また、AWSのサービスだけで

はじめに こんにちは。データサイエンスチームのmotchieです。 データ活用を進める際は、大規模データを蓄積・集計・可視化できるデータ分析基盤が必要になります。 AWSには、データレイクのAmazon S3、データウェアハウス(DWH)のAmazon Redshiftなど、ビッグデータの活用を支援する様々なサービスがあります。 この記事では、実際にNHN テコラス社内で構築・運用しているシステム事例を紹介しながら、AWSのベストプラクティスに沿ってデータ分析基盤を構築していく方法をご紹介します。 記事の流れは以下の通りです。 システムの概要と構成図 AWS Well-Architected フレームワークによる全体設計 CloudFormationによるDWH構築 ネストされたスタックの活用 Secrets Managerで認証情報の一元管理 Step FunctionsによるETLパイ

はじめに こんにちは。データサイエンスチームのmotchieです。 AWS CloudFormationを使うことで、YAMLやJSON形式のテンプレートでAWS上のインフラストラクチャを記述・管理することが出来ます。 インフラをコード化することで、以下のような様々な利点が得られます。 どのようなリソースがどのような設定値で構築されているか、コードで素早く把握できる デプロイ/ロールバックの作業を自動化でき、作業コストや人為的ミスを減らせる インフラ構成の変更点をコードレビューでき、変更の履歴を残すことができる インフラをコード化する際には、認証情報の扱い方に注意が必要です。 コード内に認証情報をハードコーディングしてしまうと、漏洩のリスクがあります。 実際、CloudFormationのベストプラクティスでも、テンプレートに認証情報を埋め込まないことが推奨されています。 上記のドキュメン

こんにちは。データサイエンスチームの t2sy です。 Web アプリケーションのエンドポイントと API を監視できる Amazon CloudWatch Synthetics が 2020年4月に General Availability (GA) となりました。この記事では、Amazon CloudWatch Synthetics の API Canary を使用し、Amazon API Gateway の Lambda 統合で作成した REST API に対する監視を試してみたのでご紹介します。 Amazon CloudWatch Synthetics を用いることで、Web アプリケーションのエンドポイントと API の Synthetics Monitoring (合成監視) が行えます。Web アプリケーションのハートビート監視や、API の監視、リンク切れチェッカなどの L

こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery ML を使用すると標準 SQL クエリを用いて機械学習モデルを作成・実行できます。 2020年4月17日 に BigQuery ML の Matrix Factorization (Beta) がリリースされました。 この記事では、 Using BigQuery ML to make recommendations from movie ratings のチュートリアルを参考に BigQuery ML の Matrix Factorization を MovieLens 20M Dataset に適用し、各ユーザへの映画の推薦を生成してみます。 BigQuer

※(注記)2021年1月6日 オンライン試験について追記しました。 こんにちは。データサイエンスチームの t2sy です。 2020年2月に Google Cloud Certified Professional Data Engineer を受験し合格しました。この記事では、試験対策として私が行った勉強法について紹介します。執筆時点 (2020年4月) の情報も一部含まれています。 Professional Data Engineer とは 「Google Cloud Certified Professional Data Engineer」 は以下の通り、主にデータ処理システムの設計、構築、運用を行うデータエンジニアや、機械学習モデルの活用、デプロイを行う機械学習エンジニアを対象とした試験です。 Professional Data Engineer は、データを収集、変換、公開して、データに基

こんにちは。データサイエンスチームの t2sy です。 この記事では、R と Python をシームレスに繋ぐことができる reticulate パッケージを紹介します。 reticulate パッケージを使うことで R を主に使っているデータ分析者が、分析の一部で Python を使いたい場合に R からシームレスに Python を呼ぶことができ、ワークフローの効率化が期待できます。 実行環境は以下です。 Amazon EC2: t2.large インスタンス (vCPU: 2, メモリ: 8GiB) Ubuntu Server: 16.04 LTS RStudio Server: 1.1.442 Anaconda: 2-5.1.0 scikit-learn: 0.19.1 umap-learn: 0.2.1 > sessionInfo() R version 3.4.4 (2018-

こんにちは。データサイエンスチームの t2sy です。 この記事は DataScience by DATAHOTEL tech blog Advent Calendar 2017 の8日目の記事です。 2回に渡り、欠損データの可視化・検定・代入に関するCRANパッケージをご紹介します。 今回、ご紹介するCRANパッケージは以下になります。 VIM BaylorEdPsych imputeMissings mice 実行環境は R 3.3.2 です。 例として米国ボストン市郊外における地域別の住宅価格のデータセットである BostonHousing を扱います。BostonHousing データセットには以下のカラムがあります。 crim: 人口1人当たりの犯罪発生率 zn: 25,000 平方フィート以上の住居区画の占める割合 indus: 小売業以外のビジネスが占める面積の割合 chas

こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery ML を使用すると標準 SQL クエリを用いて機械学習モデルを作成・実行できます。 BigQuery ML は2020年3月現在、以下のアルゴリズムをサポートしています。 線形回帰 二項ロジスティック回帰 (二値分類) 多項ロジスティック回帰 (多値分類) k-means また、訓練済みの TensorFlow モデルを Google Cloud Storage (GCS) から BigQuery にインポートし実行することもできます。 この記事では、BigQuery ML の k-means を用いて GloVe の事前学習済み単語ベクトルをクラスタリング

上記の nonce_dt 列は、他の列と組み合わせて短時間に連続するリクエストを同一のリクエストと見なすための手がかりや、A/Bテスト開始以前の推薦からのクリックを取り除くために使用しています。 データの準備ができたので、MCMC によるベイズ推論を実行してみます。今回は Python を用います。 Python でベイズ推論をサポートするライブラリは PyMC3、PyStan、Edward、TensorFlow Probability など複数の選択肢があります。 以前、確率的プログラミング言語 Stan を使用したことがあることから Stan へのインターフェイスを提供する PyStan を選択しました。Stan は MCMC のアルゴリズムに HMC (Hamiltonian Monte Carlo) の一実装である NUTS (No-U-Turn-Sampler) を用いています。

WSL(Windows Subsystem for Linux)のターミナル比較とcygwin/Dockerとのベンチマーク こんにちは。tocci3です。 Windows 7のサポート終了に伴い、会社のデスクトップマシンをWindows 10に移行しました。 最近移行された方も多いのではないでしょうか? いままでは手元のUNIX系OSの実行環境としてcygwinを使ってきたのですが、Windows 10で対応したWSL(Windows Subsystem for Linux)をインストールしてみました。 導入に関し、少し悩んで試してみたこと、 WSL(とcygwin)を使うにはどのターミナルが使いやすいか? Windows上のCUI・UNIX系OSの実行環境として、WSL/cygwin/docker(とWindows 10ネイティブも) のどれを使えばいいか? (bash/python/

こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery 以外のクラウド DWH は AWS が提供する Amazon Redshift や Microsoft が提供する Azure Synapse Analytics などが挙げられます。 BigQuery を操作する方法は Cloud Console の Web UI、bq コマンドラインツール、REST API、クライアントライブラリの4つがあります。この記事では、bq コマンドラインツールで BigQuery を操作し、使い方を確認してみます。内容としては初学者向けです。 今回、使用する Google Cloud Platform(GCP)のサービスは G

AWS活用支援サービス「C-Chorus」を提供するNHN テコラスでは、高い技術力でお客様へサービスを提供するために、AWS認定資格の取得を推進しています。 今回はAWS 認定デベロッパー – アソシエイト認定の試験に合格したウェブエンジニアのNさんに勉強法や勉強時間、試験のポイントを教えていただきました。 AWS 認定デベロッパー – アソシエイトとは AWS 認定デベロッパー – アソシエイトはAWS上でクラウドアプリケーションを開発や保守を行う、開発担当者を対象とした試験です。 AWSの主要なサービス、使用方法、基本アーキテクチャのベストプラクティスの理解度、AWS上でのアプリケーションの開発、デプロイ、デバッグについての習熟度が試されます。 試験の概要 試験時間は130分間、受験料は15,000円(税別)で、合格ラインは1000点満点中720点以上です。 試験範囲の詳細は公式の試

こんにちは。データサイエンスチーム tmtkです。 この記事では、統計的仮説検定をするときのサンプルサイズの決め方の入門的解説を行います。 この記事は、永田靖『サンプルサイズの決め方』を参考に書かれています。 統計的仮説検定の枠組み 最初に、統計的仮説検定について復習します。 まずは身近な例で説明します。いま、表と裏が等確率で出るとされているコインがあるとします。このコインを10回投げて、10回とも全部表が出たとしたら、コインの表が出る確率が裏が出る確率より高いと疑うのではないでしょうか。実際、表と裏が等確率で出るコインを10回投げて、10回連続で表が出る確率は です。つまり、表裏が等確率で出るコインを投げて表が10回連続で出たとすると、0.1%程度の確率しかないことが起こっているということになります。この場合、非常に低確率なことが起こっているので、「このコインはおかしい」と判断することが

こんにちは。データサイエンスチームの t2sy です。 2019年11月27日に韓国ソウル特別市江南区で開催された NHN FORWARD に弊社から私を含め2名が参加しました。この記事では、私が NHN FORWARD で聴講したセッションの中で、AIや機械学習に関するセッションについて紹介します。 当日のセッションは全て韓国語で行われましたが、私は韓国語がほとんどわからないため通訳さんからの情報を頼りにしました。従って、細部の情報が不足していたり不正確である可能性がある点をご了承下さい。 「Recommendation Systems: Concepts, Techniques, and Research Results」 本セッションは Hanyang University でビッグデータや機械学習の研究を行なっている Sang-Wook Kim 氏による招待講演です。 セッションは

更新履歴 – 2020年1月8日 記事内容の修正を行いました。 はじめに こんにちは。データサイエンスチームのmotchieです。 データウェアハウス(DWH)を使うことで、大規模なデータに対する高速なクエリ処理が実現し、BIを初めとした様々なデータ活用が可能になります。 クラウドDWHといえば、Amazon RedshiftやGoogle BigQueryなどが有名です。 re:Invent2019では、Redshiftの新機能 Amazon Redshift RA3 ノードが発表されました。 RA3ノードはAWS Nitro Systemベースの次世代コンピュートインスタンスで、頻繁にアクセスされるデータはノード上のSSD、それ以外はS3へ自動で配置されるマネージドストレージを備えています。 RA3ノードによって、以下のように、Redshiftは大きな進歩を遂げました。 ・従来のDS2ノ

ニューラルネットワークモデルの容量と汎化性能について-「Understanding deep learning requires rethinking generalization」を読む- こんにちは。データサイエンスチームのtmtkです。 この記事では、Chiyuan Zhangらによる論文「Understanding deep learning requires rethinking generalization」の一部を解説・追試します。 はじめに 今回紹介する論文「Understanding deep learning requires rethinking generalization」はディープラーニングの汎化誤差(=訓練誤差とテスト誤差の差)についての論文です。論文中では、 Randomization tests The role of explicit regulariz

こんにちは。データサイエンスチームの t2sy です。 2019年10月7日にテックブログに Amazon Personalize をはじめとする機械学習を用いた記事の推薦機能を追加しました。この記事では、推薦システム導入の背景と構成、設計時に意識した点について紹介します。 推薦システム導入の背景 弊社テックブログは2015年6月に最初の記事が投稿されて以降、現在までに多くの記事が投稿されてきました。 以下の図は、弊社テックブログの累積記事数の推移です。累積記事数のため単調増加していますが、毎年12月は2016年を除くと Advent Calendar 実施のため記事数が大幅に増えていることがわかります。 記事数がある程度の数まで増えたため、閲覧中の記事と関連性の高い記事を表示する推薦機能のニーズが生まれてきました。 今回の推薦機能を追加する以前も、各記事ページの下部にオススメ記事を表示し

【連載】Amazon Personalize Web-APIで情報推薦サービスを実現する (1)シグネチャバージョン4を使うメソッドの定義と必要なデータ (2)データセットグループとスキーマ (3)データセットとイベントトラッカー ▶︎(4)データをリアルタイム登録する方法とレシピ (5)機械学習を実行するソリューション、機械学習モデルをデプロイするキャンペーン (6)レコメンド結果と利用料金 今までの記事では、次のような内容を説明してきました。 Amazon Personalize Web-APIで情報推薦サービスを実現する(1) シグネイチャバージョン4を使うメソッドの定義と、Amazon Personalizeを利用する上で必要なデータについて Amazon Personalize Web-APIで情報推薦サービスを実現する(2) Amazon Personalizeにデータを登録す

こんにちは、編集部です。 サーバーの移行を検討していて、ディレクションチームでも利用できるAWSサービスはないのかな(EC2はハードルが高い)と探していたところ、AWSのVPSサービスであるAmazon Lightsailをみつけました。EC2との違いを中心にAmazon Lightsailについてまとめてみました。 Amazon Lightsailは、AWSが提供しているVPS(Virtual Private Server:仮想プライベートサーバー)サービスです。 他のAWSのサービスは、機能ごとに1つのサービスとして提供されています。しかしAmazon Lightsailはコンピューティング、ストレージ、データ転送など、WebサイトやWebサービスなどに使うサーバーとして必要な機能を組み合わせ、1つにまとめたパッケージで提供されています。そのため、Amazon Lightsailは、一

こんにちは。データサイエンスチームのtmtkです。 この記事では、中央値を線形時間で選択するアルゴリズムを知って驚いたという話をします。 はじめに 最近、T. コルメン他『アルゴリズムイントロダクション 第3版 第1巻: 基礎・ソート・データ構造・数学』(原著:『Introduction to Algorithms』)を始めのほうだけ読みました。わかりやすく書かれており、とてもいい本だと思います。 この本の9.3節では「線形最悪時間選択アルゴリズム」というものが紹介されています。これはn個の要素をもつ集合のi番目に小さい要素を計算量で計算するアルゴリズムです。この記事では、このアルゴリズムを紹介します。 プログラミング言語としては、Python 3で説明します。 最大値の線形時間選択アルゴリズム 最大値を計算するアルゴリズムを考えてみましょう。これは、上で述べた問題でi = nの場合に対応

こんにちは。データサイエンスチームのtmtkです。 この記事では、ニューラルネットワークの機械学習における「宝くじ仮説(Lottery Ticket Hypothesis)」について、解説・実験します。 はじめに 「The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks(宝くじ仮説:訓練できる疎なニューラルネットワークを見つけること)」というJonathan Frankle氏とMichael Carbin氏による論文があります。この論文は2018年3月にarXivで公開され、2019年5月にはディープラーニングのカンファレンスであるICLR 2019でBest Paper Awardに選ばれました。 この論文では、「宝くじ仮説(The Lottery Ticket Hypothesis)」というニュー

こんにちはサービス企画チームのnemodです。 この記事はNHN テコラス Advent Calendar 2018の2日目の記事です。 今回は私が新卒として入社して、Spring Framework(以下Spring)を身につけていった方法を紹介します。 Springは5つのステップで習得しました。 ステップ1 Javaを身につける ステップ2 JavaでWebアプリケーションを作る ステップ3 Springの基礎を身につける ステップ4 Spring応用 ステップ5 SpringでWebアプリケーションを作る 前提は以下の通りです。 HTMLとCSSは習得済み SQLも習得済み Eclipseを使用する 今回はJava関連に絞って説明します。そのためこちらに関しては詳しく触れていきません。ですが最後に私の習得方法を簡単に書いておきました。前提条件を満たしていない場合はそちらを参照してく