做大数据应用需要学习什么编程语言,一定要学 java 吗,不,python 也是一个很好的选择
所以,一起用 python 来玩转大数据吧
pip install -r requirements.txt pip install --no-deps thrift-sasl==0.2.1
| 大数据组件 | python 操作示例 | 文档 |
|---|---|---|
| hadoop | ctrl_hdfs.py | hdfs |
| hadoop-mapreduce | mapreduce | mapreduce.md |
| hive | ctrl_hive.py 一进一出 udf 多进一出 udaf 一进多出 udtf |
impyla |
| impala | ctrl_impala.py | impyla |
| hbase | ctrl_hbase.py | happybase |
| kafka | demo_producer.py demo_consumer.py |
kafka |
| elasticsearch | ctrl_elasticsearch.py | elasticsearch |
| spark | demo_spark.py | pyspark |
| flink | flink-sql | flink 实践系列2-flinksql |
| doris | ctrl_doris | DorisClient |