はてなブックマーク

いま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。 プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。 そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。 今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのよ

読んだ論文 Demographic Prediction Based on User’s Browsing Behavior Microsoftの論文(WWW2007) 引用数は145(2016年03月20日時点) Abstract ウェブサイトの閲覧データからユーザーの年齢と性別を推定する 提案手法は次の3つのステップから成る デモグラ既知ユーザーのクリックデータからサイトの性別と年齢の傾向を推定する判別モデルを構築する ベイジアンフレームワークを用いてクリックデータからユーザーの性別と年齢を推定する デモグラ属性が近いユーザーは同じようなサイトを訪れるという仮定からスムージングを行う Introduction 行動に基づくWeb広告は115%売上増、ブランド認知は3%高い Problem Definition Teenage: < 18 Youngster: 18 - 24 Young:

今回の内容はタイトルの通りです。 内容的にかなり長くなってしまうので、参考にさせていただいたサイトを紹介するという形で進めていきます。 基本とする参考サイト RailsアプリをさくらVPS上のpassengerを使って本番環境で動かす(1) RailsアプリをさくらVPS上のpassengerを使って本番環境で動かす(2) RubyやRailsのインストールからpassengerとApacheの設定まで詳しく書かれていて、非常に助かりました。 これを基本にしながら、エラーログ等を見て調べて進めていくといいと思います。 エラーに遭遇したときに参考になったサイト Rails & Passenger を Production(本番)モードで公開する時 Ruby on Railsをapacheで起動出来るようpassengerの設定 上の記事のおかげで、apacheの設定に、PassengerEn

こんにちは。 最近はPythonを使ってツイートの分析をしています。 具体的にはクラスタリングやtf-idfなどの手法を使って、クラスタリングした後に そのクラスターの特徴語を抜き出すということをやっています。 tf-idfの結果を見ると、 ところどころhttpやコロン、スラッシュという文字があったので、 形態素解析前の処理として、プロトコルを消す処理を書きました。 #! /usr/bin/python # coding: UTF-8 import re text ="https://twitter.com, facebook:http://facebook.com/control/event" while re.search(r'(https?://[a-zA-Z0-9.-]*)', text): match = re.search(r'(https?://[a-zA-Z0-9.-]*)

前回はurllib2というモジュールを使った簡単なスクレイピングの方法を紹介しました。 今日はScrapyというクローリング+スクレイピングのフレームワークを使って、 ウェブから情報を取ってくる方法をご紹介します。 フレームワークな分、以前紹介した手法よりも大掛かりなものになるので クローリング対象の大小によって、使い分けするといいでしょう。 スクレイピングとクローリングの違い クローリング: Webページをリンクを辿り情報を収集すること スクレイピング: Webページから意図した情報を抜き出す作業のこと たまに一緒の意味で使う人がいるのですが、厳密にはこのような定義です。 Scrapyとは Scrapyはクローリングとスクレイピングの両方のフレームワークです。 robots.txtやsitemapをパースしてくれたり、 クローリングの間隔を一括で定義したりできるので便利です。 インストー