[フレーム]
5,723 views

Spark Conference Japan 開催にあたって(Hadoop / Spark Conference Japan 2016 キーノート講演資料)

Hadoop / Spark Conference Japan 2016 キーノート講演資料 『Spark Conference Japan 開催にあたって』 猿田 浩輔(Apache Sparkコミッタ、NTTデータ) ▼イベントページ http://hadoop.apache.jp/hcj2016-program/ http://hcj2016.eventbrite.com/

Related topics:

Embed presentation

Downloaded 48 times
8 / 9
Spark Conference Japan 2016 実行委員会  石川 有 (リクルートテクノロジーズ)  井上 ゆり (サイバーエージェント)  梅川 真人 (MapR Technologies)  川崎 達夫 (Cloudera Japan)  神田 勝規 (サイバーエージェント)  木林 正光 (Cloudera Japan)  草薙 昭彦 (MapR Technologies)  近藤 和成 (クリエーションライン)  猿田 浩輔 (NTTデータ)  下垣 徹 (NTTデータ)  蒋 逸峰 (Hortonworks Japan)  Ippei Suzuki (クリエーションライン)  添田 健輔 (リクルートテクノロジーズ)  土橋 昌 (NTTデータ)  濱野 賢一朗 (NTTデータ)  平林 良昭 (MapR Technologies)  松倉 健志 (MapR Technologies)  三原 茂 (MapR Technologies)  師岡 一成 (ブレインパッド)  安田 忠弘 (クリエーションライン)
Spark Conference Japan 開催にあたって 猿田浩輔 / Kousuke Saruta (Apache Sparkコミッタ、NTTデータ)
Spark Conference Japan開催の背景  昨今の日本でのSpark熱の高まり • MeetupなどでのSparkに関連したトークの増加 • 日本語による情報源も増えてきた ‐ 書籍 ‐ 雑誌 / Web記事 ‐ ブログ記事 • Sparkへの日本人コントリビュータの増加 • すでに商用運用している例も多数  多くの人たちが手探りでSparkを活用したり、開発に貢献している段階 • 取り組みを発信したい • 活用のヒントを得たい • Sparkの開発に携わっている そんなみなさまのための、Spark Conference Japan
どのくらいの人がSparkに興味を持っているのか • 70%の参加者が実際に利用中もしくは利用を検討している • 12%の参加者はすでに本番環境で運用中 • うち6%は1年以上運用中 • 中には3年以上運用している方も
利用されているコンポーネント (注記) 重複選択可能 (注記) いずれかのコンポーネントを利用している方451名を対象 • 55%以上の方がSpark SQL / DataFrameを利用 • 用途の分かりやすいMLlibやSpark Streamingも40%近い方 から利用されている (人)
キーノート Reynold Xin Spark 2.0: What’s Next 須藤 武文 さくらインターネットが構築した、 Apache Sparkによる原価計算システム
事例セッション 13:45 – 14:20 / C会場 / 車田 篤史, 堤 崇行 リクルートライフスタイルの考えるストリームデータの活かし方 〜AWS + Kafka + Spark Streaming〜 14:30 – 15:05 / C会場 / 須藤 武文 さくらインターネットが構築した Apache Sparkによる原価計算システムの仕組みとその背景 15:15 – 15:50 / D会場 / 鈴木 由宇, 土橋 昌 SparkによるGISデータを題材とした時系列データ処理 16:00 – 16-35 / D会場 /加嵜 長門 Hive on Sparkを活用した高速データ分析
テクニカルセッション 12:00 – 12:30 / C会場 / 猿田 浩輔 Apache Spark超入門(ランチセッション) 13:00 – 13:35 / C会場 / 草薙 昭彦 ストリーミングアーキテクチャ: StateからFlowへ 13:45 – 14:20 / D会場 / 石川 有 Spark Mllib Now and Beyond 15:15 – 15:50 / C会場 / Reynold Xin Deep Dive into Project Tungsten 16:00 – 16:35 / C会場 / 石崎 一明 Exploiting GPUs in Spark
Spark Conference Japan 2016 実行委員会  石川 有 (リクルートテクノロジーズ)  井上 ゆり (サイバーエージェント)  梅川 真人 (MapR Technologies)  川崎 達夫 (Cloudera Japan)  神田 勝規 (サイバーエージェント)  木林 正光 (Cloudera Japan)  草薙 昭彦 (MapR Technologies)  近藤 和成 (クリエーションライン)  猿田 浩輔 (NTTデータ)  下垣 徹 (NTTデータ)  蒋 逸峰 (Hortonworks Japan)  Ippei Suzuki (クリエーションライン)  添田 健輔 (リクルートテクノロジーズ)  土橋 昌 (NTTデータ)  濱野 賢一朗 (NTTデータ)  平林 良昭 (MapR Technologies)  松倉 健志 (MapR Technologies)  三原 茂 (MapR Technologies)  師岡 一成 (ブレインパッド)  安田 忠弘 (クリエーションライン)
Enjoy Spark Conference Japan 2016!

More Related Content

Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
PDF
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
PDF
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Apache Sparkを用いたスケーラブルな時系列データの異常検知モデル学習ソフトウェアの開発
PPTX
Apache Sparkを用いたスケーラブルな時系列データの異常検知モデル学習ソフトウェアの開発
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
PDF
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
PDF
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
JVM and OS Tuning for accelerating Spark application
PPTX
JVM and OS Tuning for accelerating Spark application
2016年02月08日 Spark MLlib Now and Beyond@Spark Conference Japan 2016
PDF
2016年02月08日 Spark MLlib Now and Beyond@Spark Conference Japan 2016
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
PDF
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
Hadoop Conference Japan 2016 LT資料 グラフデータベース事始め
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Apache Sparkを用いたスケーラブルな時系列データの異常検知モデル学習ソフトウェアの開発
Apache Sparkを用いたスケーラブルな時系列データの異常検知モデル学習ソフトウェアの開発
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
JVM and OS Tuning for accelerating Spark application
JVM and OS Tuning for accelerating Spark application
2016年02月08日 Spark MLlib Now and Beyond@Spark Conference Japan 2016
2016年02月08日 Spark MLlib Now and Beyond@Spark Conference Japan 2016
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)

More from Hadoop / Spark Conference Japan

機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
PPTX
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
What makes Apache Spark?
PDF
What makes Apache Spark?
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
PDF
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
PDF
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
PDF
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
PDF
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
PDF
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
PDF
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
PDF
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
PDF
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
PDF
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
The Future of Apache Spark
PDF
The Future of Apache Spark
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
PDF
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
What makes Apache Spark?
What makes Apache Spark?
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
The Future of Apache Spark
The Future of Apache Spark
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)

Recently uploaded

PCCC25(設立25年記念PCクラスタシンポジウム):コアマイクロシステムズ株式会社 テーマ 「AI HPC時代のトータルソリューションプロバイダ」
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):コアマイクロシステムズ株式会社 テーマ 「AI HPC時代のトータルソリューションプロバイダ」
PCCC25(設立25年記念PCクラスタシンポジウム):富士通株式会社 テーマ1「HPC&AI: Accelerating material develo...
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):富士通株式会社 テーマ1「HPC&AI: Accelerating material develo...
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ2「『Slinky』 SlurmとクラウドのKuber...
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ2「『Slinky』 SlurmとクラウドのKuber...
論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over...
PDF
論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over...
PCCC25(設立25年記念PCクラスタシンポジウム):菱洋エレクトロ株式会社 テーマ1「製造業向けAI・HPCハイパフォーマンス基盤 RTX PROTM ...
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):菱洋エレクトロ株式会社 テーマ1「製造業向けAI・HPCハイパフォーマンス基盤 RTX PROTM ...
論文紹介:MotionMatcher: Cinematic Motion Customizationof Text-to-Video Diffusion ...
PDF
論文紹介:MotionMatcher: Cinematic Motion Customizationof Text-to-Video Diffusion ...
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ3「IT運用とデータサイエンティストを強力に支援するH...
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ3「IT運用とデータサイエンティストを強力に支援するH...
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ1「大規模AIの能力を最大限に活用するHPE Comp...
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ1「大規模AIの能力を最大限に活用するHPE Comp...
PCCC25(設立25年記念PCクラスタシンポジウム):エヌビディア合同会社 テーマ1「NVIDIA 最新発表製品等のご案内」
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):エヌビディア合同会社 テーマ1「NVIDIA 最新発表製品等のご案内」
論文紹介:HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Gene...
PDF
論文紹介:HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Gene...
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ3「『TrinityX』 AI時代のクラスターマネジメ...
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ3「『TrinityX』 AI時代のクラスターマネジメ...
2025年11月24日情報ネットワーク法学会大井哲也発表「API利用のシステム情報」
PPTX
2025年11月24日情報ネットワーク法学会大井哲也発表「API利用のシステム情報」
PCCC25(設立25年記念PCクラスタシンポジウム):筑波大学計算科学研究センター テーマ3「学際計算科学による最新の研究成果」
PDF
PCCC25(設立25年記念PCクラスタシンポジウム):筑波大学計算科学研究センター テーマ3「学際計算科学による最新の研究成果」
論文紹介:DiffusionRet: Generative Text-Video Retrieval with Diffusion Model
PDF
論文紹介:DiffusionRet: Generative Text-Video Retrieval with Diffusion Model
PCCC25(設立25年記念PCクラスタシンポジウム):コアマイクロシステムズ株式会社 テーマ 「AI HPC時代のトータルソリューションプロバイダ」
PCCC25(設立25年記念PCクラスタシンポジウム):コアマイクロシステムズ株式会社 テーマ 「AI HPC時代のトータルソリューションプロバイダ」
PCCC25(設立25年記念PCクラスタシンポジウム):富士通株式会社 テーマ1「HPC&AI: Accelerating material develo...
PCCC25(設立25年記念PCクラスタシンポジウム):富士通株式会社 テーマ1「HPC&AI: Accelerating material develo...
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ2「『Slinky』 SlurmとクラウドのKuber...
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ2「『Slinky』 SlurmとクラウドのKuber...
論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over...
論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition: Label Over...
PCCC25(設立25年記念PCクラスタシンポジウム):菱洋エレクトロ株式会社 テーマ1「製造業向けAI・HPCハイパフォーマンス基盤 RTX PROTM ...
PCCC25(設立25年記念PCクラスタシンポジウム):菱洋エレクトロ株式会社 テーマ1「製造業向けAI・HPCハイパフォーマンス基盤 RTX PROTM ...
論文紹介:MotionMatcher: Cinematic Motion Customizationof Text-to-Video Diffusion ...
論文紹介:MotionMatcher: Cinematic Motion Customizationof Text-to-Video Diffusion ...
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ3「IT運用とデータサイエンティストを強力に支援するH...
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ3「IT運用とデータサイエンティストを強力に支援するH...
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ1「大規模AIの能力を最大限に活用するHPE Comp...
PCCC25(設立25年記念PCクラスタシンポジウム):日本ヒューレット・パッカード合同会社 テーマ1「大規模AIの能力を最大限に活用するHPE Comp...
PCCC25(設立25年記念PCクラスタシンポジウム):エヌビディア合同会社 テーマ1「NVIDIA 最新発表製品等のご案内」
PCCC25(設立25年記念PCクラスタシンポジウム):エヌビディア合同会社 テーマ1「NVIDIA 最新発表製品等のご案内」
論文紹介:HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Gene...
論文紹介:HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Gene...
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ3「『TrinityX』 AI時代のクラスターマネジメ...
PCCC25(設立25年記念PCクラスタシンポジウム):Pacific Teck Japan テーマ3「『TrinityX』 AI時代のクラスターマネジメ...
2025年11月24日情報ネットワーク法学会大井哲也発表「API利用のシステム情報」
2025年11月24日情報ネットワーク法学会大井哲也発表「API利用のシステム情報」
PCCC25(設立25年記念PCクラスタシンポジウム):筑波大学計算科学研究センター テーマ3「学際計算科学による最新の研究成果」
PCCC25(設立25年記念PCクラスタシンポジウム):筑波大学計算科学研究センター テーマ3「学際計算科学による最新の研究成果」
論文紹介:DiffusionRet: Generative Text-Video Retrieval with Diffusion Model
論文紹介:DiffusionRet: Generative Text-Video Retrieval with Diffusion Model

Spark Conference Japan 開催にあたって(Hadoop / Spark Conference Japan 2016 キーノート講演資料)

  • 1.
    Spark Conference Japan 開催にあたって 猿田浩輔 / Kousuke Saruta (Apache Sparkコミッタ、NTTデータ)
  • 2.
    Spark Conference Japan開催の背景  昨今の日本でのSpark熱の高まり • MeetupなどでのSparkに関連したトークの増加 • 日本語による情報源も増えてきた ‐ 書籍 ‐ 雑誌 / Web記事 ‐ ブログ記事 • Sparkへの日本人コントリビュータの増加 • すでに商用運用している例も多数  多くの人たちが手探りでSparkを活用したり、開発に貢献している段階 • 取り組みを発信したい • 活用のヒントを得たい • Sparkの開発に携わっている そんなみなさまのための、Spark Conference Japan
  • 3.
  • 4.
    利用されているコンポーネント (注記) 重複選択可能 (注記) いずれかのコンポーネントを利用している方451名を対象 • 55%以上の方がSpark SQL / DataFrameを利用 • 用途の分かりやすいMLlibやSpark Streamingも40%近い方 から利用されている (人)
  • 5.
    キーノート Reynold Xin Spark 2.0: What’s Next 須藤 武文 さくらインターネットが構築した、 Apache Sparkによる原価計算システム
  • 6.
    事例セッション 13:45 – 14:20 / C会場 / 車田 篤史, 堤 崇行 リクルートライフスタイルの考えるストリームデータの活かし方 〜AWS + Kafka + Spark Streaming〜 14:30 – 15:05 / C会場 / 須藤 武文 さくらインターネットが構築した Apache Sparkによる原価計算システムの仕組みとその背景 15:15 – 15:50 / D会場 / 鈴木 由宇, 土橋 昌 SparkによるGISデータを題材とした時系列データ処理 16:00 – 16-35 / D会場 /加嵜 長門 Hive on Sparkを活用した高速データ分析
  • 7.
    テクニカルセッション 12:00 – 12:30 / C会場 / 猿田 浩輔 Apache Spark超入門(ランチセッション) 13:00 – 13:35 / C会場 / 草薙 昭彦 ストリーミングアーキテクチャ: StateからFlowへ 13:45 – 14:20 / D会場 / 石川 有 Spark Mllib Now and Beyond 15:15 – 15:50 / C会場 / Reynold Xin Deep Dive into Project Tungsten 16:00 – 16:35 / C会場 / 石崎 一明 Exploiting GPUs in Spark
  • 8.
    Spark Conference Japan 2016 実行委員会  石川 有 (リクルートテクノロジーズ)  井上 ゆり (サイバーエージェント)  梅川 真人 (MapR Technologies)  川崎 達夫 (Cloudera Japan)  神田 勝規 (サイバーエージェント)  木林 正光 (Cloudera Japan)  草薙 昭彦 (MapR Technologies)  近藤 和成 (クリエーションライン)  猿田 浩輔 (NTTデータ)  下垣 徹 (NTTデータ)  蒋 逸峰 (Hortonworks Japan)  Ippei Suzuki (クリエーションライン)  添田 健輔 (リクルートテクノロジーズ)  土橋 昌 (NTTデータ)  濱野 賢一朗 (NTTデータ)  平林 良昭 (MapR Technologies)  松倉 健志 (MapR Technologies)  三原 茂 (MapR Technologies)  師岡 一成 (ブレインパッド)  安田 忠弘 (クリエーションライン)
  • 9.

AltStyle によって変換されたページ (->オリジナル) /