代码为caDesign(cadesign.cn)设计研究中python知识系统部分即"城市空间数据分析方法——PYTHON语言实现"。

城市空间数据分析方法——PYTHON语言实现-中文版

Urban spatial data analysis method——python language implementation-English version

城市的集聚、扩张,对自然土地的侵蚀,以及城市与自然的割裂,使得城市环境恶化,生态问题突出,难以达到宜居的基本要求。空气、噪声污染,绿地碎片化,开敞空间不足,步行空间缺失,城市公共空间的生活品质趋于下降。拥挤、烦躁、疾病、压抑、孤独潜藏于城市繁荣的表面之下。现代城市的发展历经半个多世纪,在解决了人类生存和各类社会问题的同时,也以牺牲环境为代价,积累下各类潜在的城市问题。时至今日,城市环境恶化已经是不得不面对的重大问题,大量相关研究的跟进,都在试图为解决城市问题寻找方法。

网络的发展与城市生活栖息相关数据的大量积累,改变着城市居民生活的方式,也因此可以借助可获取的大数据分析研究城市生活,依此来调控城市有序运作、方便居民生活。以及借助地理信息空间数据和大数据分析城市空间格局,从城市规划、风景园林和建筑领域探索物质空间对城市生活的影响,尤其分析研究如何提升城市开敞空间生活的品质,如何改善恶化的城市生态环境等。

以新的技术、方法来研究城市,需要规划学科自身知识体系的包容和进一步拓展。城市规划、风景园林和建筑领域已经尝试探索数字化规划设计的方法,取得了丰富的成果,然而,当前仍面临很多问题需待解决。虽然早已开始数字化规划设计的探索,但是因为大部分高校常规的教授内容中缺失数字化部分,因此大部分规划设计师并不具备数据分析的能力。而规划教师队伍中具备数据分析能力的人屈指可数,不宜通过增加数据分析相关课程推进教学改革。数据分析与规划设计被视为两个领域的碰撞,然而不具备规划设计背景的数据分析师很难渗入到规划设计领域及进入更深层次的研究,规划设计学科规划设计内容的多变性,方案不断调整的过程需要自身具备数据分析能力的规划设计师。即从常规专业知识出发从事规划设计,并以数据化思维来分析规划内容。面对上述问题,高校以及研究机构,有必要以规划师的角度来推进数字化规划进程。

在规划领域,应用数字化分析来解决相关城市问题,不仅仅依靠大数据分析,还会涉及到当前发展研究的多个领域,例如嵌入式系统实验设备的搭建,复杂系统的应用来分析研究生态平衡问题,参数化技术建立参数关联的模型,以及建筑信息模型的发展,都在以不同的方式切入到规划设计,优化规划设计过程和达到适宜的、有效的规划设计结果,所有这些都是数字相关。在解决城市某类问题时,往往需要综合多种方法,因此数字化的内容自身亦在不断的拓展。也因为其共同基于数字的特点,而能够互相的渗入,形成共同的一个体系。

建立起多个方法领域的数字化规划设计体系,要以编程语言为数据处理的基础,python语言是大数据处理的首选语言,也是相关领域分析平台的脚本语言,因此以python语言为数据分析的基础毋庸置疑。

在"城市空间数据分析方法——PYTHON语言实现"中,试图切入上述所提到的问题:1是,从规划设计师的角度,用数字化的方法来探索解决城市相关问题,尤其城市生态环境的问题;2是,以对程序的详细解释,和相关库的系统梳理,尝试推进城市规划、风景园林和建筑学科自身数字化分析技术的提升;3是,综合应用地理信息系统、大数据分析、复杂系统、参数化、嵌入式系统,建立综合解决城市问题的方法和技术途径。在具体内容上,主要包含3条线索:1是,就城市某一方面的问题,从城市规划、风景园林和建筑专业的角度,以实验研究的方式分章阐述,切实的将数字化技术结合到规划设计中,为规划设计提出新方法、新思路、新探索方向;2是,相关知识的阐述,有利于对于实验内容和方法的理解,进一步利用相关知识来解决任何类似或者依此拓展的问题;3是,城市问题研究中探索的新方法,本身往往具有"普适意义",可以用于更多甚至不相关问题的分析研究上。

大量的方法研究中,涉及到较多机器学习和深度学习内容,以智能化的方法解决规划设计问题,是规划设计领域最为前沿,能够引领规划设计未来方向的主要途径。目前已经有大量应用机器学习来管理城市的成功案例,甚至有部分研究者将其落入到规划领域的空间物质规划中,得以应用和实践。因为scikit-learn机器学习以及tensorflow深度学习开源库框架的出现,使得机器学习成为各领域可以广泛应用的工具,规划领域同样受到机器学习的影响,并在各类规划问题研究中发挥出重要作用。

关键新技术的出现必定推动人类社会实现飞跃的进步,提高生成效率,提升生活品质以及让我们更接近事物的本源和本质。在问题的解决、推断决策上更符合事物发展规律,顺势而为,找到最为切实可行的切入点,将城市与自然融和,有效节约资源下,解决当前城市环境恶化问题,改善城市居民生活的方方面面,实现真正的城市可持续发展。数字技术也许正是打开探索事物本质、探索与发现新规律的钥匙。希冀本书的研究内容能够成为每一个规划研究者找到解决自身所研究问题的触媒,实现更远、更深的跨越,推动数字技术在规划领域学科的进一步发展。

更多实验与课程地址:caDesign设计

1. Python在设计领域 /Python Language
   1. 01_Python在设计领域
2. python解释器 /python interpreter
   1. python解释器
3. 列表的知识结构-A/百度POI数据采集 /list-A/Baidu Maps POI Capture and .csv File Read and Data Display
   1. 百度POI数据采集
   2. 列表的知识结构-A
4. 列表的知识结构-B/建筑外环境测量数据可视化 /list-B/Environmental Measurement and Data Diagram outside Buildings
   1. 建筑外环境测量数据可视化
   2. 列表的知识结构-B
5. 元组/基于GPS调研与数据读取 /turple/Read GPS-based Research Data
   1. 基于GPS调研与数据读取
   2. 基于GPS调研与数据读取
   3. 元组
6. 字典/异常值处理初步 /dictionary/Outlier Processing
   1. 异常值处理初步
   2. 字典
7. numpy-A/城市空间-色彩-A /numpy-A/Colour Space and Distribution of Images
   1. 城市空间-色彩-A-1
   2. 城市空间-色彩-A-2
   3. numpy-A
8. numpy-B/基于百度POI数据生成.kml文件与描述性统计 /numpy-B/generate .kml files and descriptive statistics based on baidu POI data
   1. 数据采集+数据格式
   2. .kml文件生成
   3. 描述性统计
   4. numpy-B
9. 循环语句/机器学习-聚类-城市色彩-B-印象 /loop statement/Urban Colour Impressions and Machine Learning/Cluster
   1. 机器学习概述-A
   2. 示例数据集训练/学习与预测+模型保存
   3. 参数更新+类别数据
   4. 聚类
   5. 城市色彩-印象
   6. itertools库+warnings库
   7. 基本语句-循环
10. 协方差|卡方检验/poi空间分布结构 /covariance | chi-square test/POI spatial distribution structure
    1. 协方差/卡方检验
    2. 批量采集+poi分布A-DBSCAN密度聚类
    3. poi空间分布结构B
    4. 基本语句-条件
11. 函数|GDAL/OGR/SIR模型与卷积|森林的蔓延 /function | GDAL/OGR/SIR model and convolution|forest spreading
    1. 卷积
    2. SIR模型
    3. 森林的蔓延(
    4. python的(GIS)地理信息数据库GDAL
    5. 函数
12. pandas-A|基于RF高程预测地形生成(参数化结合)与回归预测 /pandas-A|Terrain Generation (Combined with Parameterization) based on RF Elevation Prediction and Regression Prediction
    1. 回归预测
    2. 地形生成<随机森林回归模型|参数化>
    3. pandas-A
13. pandas-B|基于回归预测NDVI修复地生态廊道的构建 /pandas-B|Construction of Ecological Corridor in Rehabilitated Place based on Regression Prediction NDVI
    1. 修复地生态廊道构建
    2. pandas-B
14. pandas-C|基于DBSCAN密度空间聚类林缘线生成设计 /pandas-C|DBSCAN-based Forest Edge Generation Design
    1. DBSCAN密度空间聚类林缘线生成设计
    2. pandas-C
15. pycharm/虚拟环境/SQLite数据库|将规划设计信息写入数据库 /pycharm/virtual environment/SQLite database|writes planning and design information to the database
    1. 景观评估项目-实验:技术路线
    2. pycharm|虚拟环境搭建
    3. 数据库
    4. SQLite数据库
16. flask构建实验用网络应用平台|Jinja2模板 /Flask-based Development of Network Application Platform for Experiment|Jinja2 template
    1. flask轻量级 Web 应用框架
    2. Jinja2模板
    3. 阶段B-目录结构
17. _class类|SIFT|BOW|ERF|景观质量视觉评估预测 /class |SIFT|BOW|ERF|Visual Landscape Quality Evaluation (Machine Learning Prediction)
    1. 图像特征提取
    2. BOW视觉词袋模型
    3. ERF图像分类器
    4. -图像识别器
    5. class类|OPP
18. ubuntu|VNC|Nginx|uWSGI/实验用网络应用平台的部署 /ubuntu|VNC|Nginx|uWSGI/deployment of experimental network application platform
    1. 实验用网络应用平台的部署
19. ROS-Kinetic深度相机3DSLAM三维点云建筑空间 /ROS-Kinetic Depth Camera|3DSLAM Point-cloud Architectural Space
    1. 点云/三维模型
    2. rtabmap|ROS
    3. 点云数据处理分析与可视化
20. NLP_LDA主题建模_提取主题关键字 /NLP-Topic Modelling_Find Important Contents
    1. 实验素材/与计算结果
    2. NLP-自然语言处理
    3. 有用的库方法
21. 提取.jpg(.png)图像(热力图)格式的数据为地理信息数据 /extract .jpg(.png) image (heat map) format data for geographic information data
    1. .jpg图像格式数据预处理
    2. 色彩空间
    3. .jpg数据提取
22. 生活圈_01_连续聚类与数据分析和数据保存|collections 库
    1. 读取与组织POI数据,为skleran的bunch存储方式
    2. 使用DBSCAN聚类POI数据
    3. 将聚类结果存储为.shp的点文件格式,字段包括"poi"存储行业列表信息,"cluster"存储聚类簇信息
    4. 计算POI的业态空间结构分布并存储为图片格式文件
    5. 数据统计分析(箱型图/小提琴图/折线图)
    6. 存储计算数据/Numpy数据的保存与读取
    7. 在GIS中编写python脚本定义.shp文件投影,并转换为依据距离为单元大小的栅格数据
    8. numpy的ravel() 和 flatten()函数
    9. collections 库
    10. 缩放带有outlier异常值的数据
23. 生活圈_02_通过计算曲线拐点找到特征层级|kneed库
    1. kneed库
    2. 寻找曲线拐点
    3. box plot 箱型图/violin plot 小提琴图
    4. pandas读取excel(.xlsx)数据
24. 生活圈_03_信息熵与均衡度
    1. 信息熵与均衡度公式
    2. 计算信息熵/均衡度
    3. 均衡度与距离距离的关系_箱型图
    4. 如何在GitHub上下载单独的文件
25. 生活圈_04_相关系数热力图(簇行业类)与批量图片自动排版
    1. 相关系数热力图(簇行业类)
    2. 批量图片自动排版
    3. numpy.transpose()
26. 26-30. 城市热环境_01-05_基于LST
    1. (26)01_LST反演地表温度
    2. (27)02_基于地表温度差值数量变化界定全区植被降温效应的空间分布
    3. (28)03_基于卷积温度梯度变化界定冷区和热区的空间分布结构
    4. (29)04_地表覆盖与精度评价
    5. (30)05_基于机器学习回归算法建立用于绿地规划评估的地表温度预测模型

Chicago 部分

31. Chicago_01_城市空间结构分析_连接度城市空间结构分析_边缘_物质
    1. 调整分类数据,合并夏季和秋季农田区域
    2. 现栅格聚类的方法(分类数据——建设区聚类)
    3. 最大聚类提取并存储为raster
    4. 最大聚类变化区写入raster
32. Chicago_02_城市空间结构分析_连接度
    1. 基于卷积计算连接度
    2. 按数量多少排序的前n个值
    3. 24级距离卷积核连接度批量计算,及连接度聚类计算
33. Chicago_03_LAS雷达数据处理
    1. .las雷达数据与pdal库
    2. 批量计算分类数据和dtm数据表面模型
    3. raster数据的拼接
34. Chicago_04_SVF计算以及内存管理
    1. 增加计算速度与缓解内存压力:h5py库/psutil库/memory_profiler库/del 方法
    2. CVF的算法实现
    3. raster栅格数据切分
35. Chicago_05_OSM数据处理与空间结构
    1. OSM(open street maps)数据处理
    2. 基于OSM数据连续距离聚类层级空间分布结构
36. Chicago_06_网络结构分析_networkx
    1. 距离权重网络结构graph
    2. 网络结构的边/分级与提取
    3. CSV文件转.shp格式,并返回关键信息
    4. .shp数据读取,组织,计算与统计部分
37. Chicago_07_建筑高度分布结构
    1. 由.las点云数据提取DTM
    2. 合并栅格数据
    3. 栅格插值,补全缺失数据
    4. 切分建筑高度生产单独的建筑空间分布数据
    5. 针对大数据量单独栅格文件的重分类方法 6.栅格聚类与点数据聚类方法的调整
38. Chicago_08_数据图表描述
    1. 图表-python库
    2. 基本信息/形状指数/土地覆盖/冠层高度/设施要素/天空视域因子
    3. 相关结构
39. Chicago_09_距离权重的环境指数
    1. raster cells到polygons空间距离权重
    2. polygons到polygons空间距离权重
40. Chicago_10_无人驾驶城市_01_数据特征描述
    1. 无人车位置与扫描区域特征点
    2. 激光雷达扫描评估值
    3. 网络结构的建立
    4. 特征描述方法-A
41. Chicago_11_无人驾驶城市_02_pytorch深度学习模型-beta
    1. 训练数据集的建立
    2. 输出类别方式
    3. 多层感知机 MLP/网络中的网络 NiN Model/深度卷积网络 AlexNet Model
42. Chicago_12_无人驾驶城市_03_交互式操作-pygame-pytorch
    1. 使用pygame库实现交互式操作
43. Chicago_13_无人驾驶城市_04_数据特征描述_B
    1. 基于1维卷积曲线跳变点识别切分
    2. 空间点格局模式-初步| rpy1/spatstat
    3. 数据汇总(dataFrame)与相关性分析
44. Chicago_14_时空数据_01_时间序列
    1. 时序数据预处理 | 平滑/滑动窗口 | 时间序列交叉验证/Time series cross validation | 特征提取
    2. ARIMA
    3. 平稳性检验-差分法 | 相关函数评估方法 | 模型评估标准 |模型残差检验
    4. 时间序列的(非)线性模型
45. Chicago_15_时空数据_02_时间序列
    1. giddy-空间马尔科夫链/markov chains
    2. 莫兰指数/Moran's Is
    3. 数值流动性/mobility of values
    4. 动态LISA方向分析
    5. 肯德尔等级相关系数/kendalls tao
46. Chicago_16_时空数据_03_全局-局部空间自相关分析
    1. 全局/局部空间自相关 Global/Local Spatial Autocorrelation
    2. 城市隔离模式/segregation/analyzing patterns of urban segregation
    3. 网络结构/Geographical Structure
47. Chicago_17_时空数据_04_不平等性与隔离
    1. 空间分布的不平等性/inequality/Methods for measuring spatial inequality | Gini
    2. 聚类(分析区域)内及间观测值特征相似性/Silhouette statistics-组间|内相似度/Path Silhouettes/组缘相似度/Boundary Silhouettes
    3. decomposition 基于Shapley分解
    4. 城市空间因素影响
48. Chicago_18__无人驾驶城市_05_空间点模式
    1. 关于相关性/about correlation
    2. landmarks分布方向的影响
    3. 观察样方大小与landmarks分布距离
    4. 评估值的离散化
49. Chicago_19__时空数据_05_dash 基于WEB 图表分析
    1. dash | 交互网页图表(web-based analytic apps)/.shp<points,polyton>
    2. mapbox/地图数据
50. Chicago_20_无人驾驶城市_06_3D 参数化模型(grasshopper)
    1. 转换模拟数据
    2. 编写GH的导入部分组件
    3. GH参数化技术下,实现数据的动态可视化
51. Chicago_21_无人驾驶城市_07_空间点模式的生成
    1. 生成固定方向和数量的空间点模式
    2. grasshopper空间点数据调入程序
52. Chicago_22_无人驾驶城市_08_点云分割_点特征
    1. 建立数据集/三维|二维投影|极坐标投影|体素|PyTorch Geometric 图结构
    2. 动态GIF生成与压缩
53. Chicago_23_无人驾驶城市_09_点云分割_model
    1. PyTorch Geometric 图结构模型
    2. 迁移PolarNet模型

This code is only for academic purpose. For commercial purpose, please contact us.