中国地质大学（武汉）地理与信息工程学院

1. 标题

· Synthesizing location semantics from street view images to improve urban land-use classification

· 结合街景图像中的位置语义改善城市土地利用分类

2. 成果信息

· Fang Fang, Yafang Yu, Shengwen Li, Zejun Zuo, Yuanyuan Liu, Bo Wan & Zhongwen Luo (2020). Synthesizing location semantics from street view images to improve urban land-use classification, International Journal of Geographical Information Science, DOI: 10.1080/13658816.2020.1831515

· https://www.tandfonline.com/doi/full/10.1080/13658816.2020.1831515

DOI: 10.1080/13658816.2020.1831515

· 本研究的支持项目：National Earth Observation Data Center [NODAOP2020015], the National Natural Science Foundation of China [41801378, 42071382] and the Open Fund of Key Laboratory of Urban Land Resources Monitoring and Simulation, Ministry of Natural Resources [KF-2019-04-033].

3. 成果团队成员

方芳（第一作者），副教授，中国地质大学（武汉）地理与信息工程学院。

左泽均（通信作者），博士，中国地质大学（武汉）地理与信息工程学院，研究方向：空间数据建模，3D建模的应用和可视化分析。

余亚芳（第二作者），硕士生，中国地质大学（武汉）地理与信息工程学院。

李圣文   ：副教授，中国地质大学（武汉）地理与信息工程学院。

刘袁媛 ：副教授，中国地质大学（武汉）地理与信息工程学院。

万 波  ：教授，中国地质大学（武汉）地理与信息工程学院。

罗忠文 ：教授，中国地质大学（武汉）地理与信息工程学院。

Email：zjzuo@cug.edu.cn。

4. 成果介绍

土地利用地图有助于城市规划和环境研究，街景图像在土地利用自动分类方面显示了巨大的潜力。然而，以往的研究忽视了可能有助于改进土地利用分类的位置上下文信息。本研究提出了一种新的土地利用分类方法，结合街景图像位置语义，并考虑了土地利用分类场景中的邻域地块和道路上下文信息。该方法首先利用基于街景图像语义分割获得土地利用场景图像，然后使用移位策略将土地利用场景图像通过位置语义关联到土地利用地块上，使用训练好的深度学习网络确定土地使用类型。通过对武汉市研究区和纽约市研究区的五种土地利用类型的实证研究结果表明，引入街景图像位置语义可以显著提高土地利用类型的分类精度。

本研究的主要贡献在于:

(1)强调了街景图像位置语义的重要性，采用了土地利用场景图像而非原街景图像对土地利用类型进行分类。

(2)提出了一种直接的基于位置语义的土地利用场景图像自动提取算法，并提出了基于位置语义的土地利用场景图像位移策略，以最大限度地减少由于土地地块和街景图像拍摄位置之间距离偏差的影响。

(3)中国武汉和美国纽约的两个新数据集，分别包含8088和34156个土地利用场景图像和五种土地利用类型，丰富了土地利用数据集的多样性，能促进与城市有关的研究和应用。

主要图和表如下：

Figure 1. Framework for the proposed method.

Figure 3. Illustration of road pattern (a) cross-road pattern and (b) single-road pattern.

Figure 4. Eight-direction (a) and four-direction (b) displacement strategies. The solid circles represent the shooting position of the image, and the dash circles represent the target positions to move to. The dash boxes represent the movement of the SVI at the intersection, and the solid boxes represent the movement of the SVI on a single road.

Table 5. Confusion matrix of land-use classification map of the study area in Wuhan, with calculated Producer’s and User’s accuracies.

Overall accuracy: 72.16%

Figure 11. Land-use classification maps. (a) ground truth map and (b) predicted map, where different colors represent different land-use types, (c) misclassified land parcels.