图 1.手动注释的数据集和自动生成的合成数据集的比较。传统方法要求在生成训练集时手动标记图像，而我们提出的系统可以使用来自城市数字孪生的数字资产自动创建带有实例注释的合成数据。学分：计算设计与工程学报（2022）。DOI： 10.1093/jcde/qwac086
游戏引擎最初是为了构建虚构的娱乐世界而开发的。但是，这些相同的引擎可用于构建真实环境（即数字孪生）的副本。大阪大学的研究人员已经找到了一种方法，可以使用数字城市孪生体自动生成的图像来训练深度学习模型，这些模型可以有效地分析真实城市的图像并准确地分离其中出现的建筑物。
卷积神经网络是一种深度学习神经网络，旨在处理结构化数据数组（如图像）。深度学习的这些进步从根本上改变了任务的执行方式，比如架构分割。然而，精确的深度卷积神经网络（DCNN）模型需要大量的标记训练数据，而标记这些数据可能是一项缓慢且极其昂贵的手动任务。
为了创建合成的数字城市孪生数据，调查人员使用了来自TABAL平台的3D城市模型，该平台包含大多数日本城市的3D模型，细节水平极高。他们将该模型加载到Unity游戏引擎中，并在虚拟汽车上创建了一个摄像机设置，该虚拟汽车在城市中行驶并在各种照明和天气条件下获取虚拟数据图像。然后使用谷歌地图API来获取同一研究区域的真实街道图像以进行实验。
图 2.我们研究区域的三维城市模型。（a） 城市数字孪生体及其真实街景对应物的例子（东京旺安多罗大道;三月 2021;纬度： 35.6283， 经度： 139.7782）.（b） 城市数字孪生的鸟瞰图。图片来源：CC BY，2022 张佳新等，从城市数字孪生自动生成合成数据集，用于建筑立面的实例分割，计算设计与工程学报
研究人员发现，数字城市孪生数据比没有现实世界对应物的纯虚拟数据产生更好的结果。此外，将合成数据添加到真实数据集可提高分割准确性。然而，最重要的是，研究人员发现，当数字城市孪生合成数据集中包含一定比例的真实数据时，DCNN的分割精度会显着提高。事实上，它的性能与在100%真实数据上训练的DCNN的性能竞争。
“这些结果表明，我们提出的合成数据集可能会取代训练集中的所有真实图像，”该论文的通讯作者Tomohiro Fukuda说。
图 3.当使用HSRBFIA（合成和真实世界建筑立面图像和注释的混合集合）数据集训练掩码R-CNN时，具有不同类型和大小的建筑物的定性结果，这些数据集具有不同的合成与真实数据的比例：（a）大阪的低层房屋;（b） 洛杉矶的低层住宅;（c） 纽约市的高层住宅;（d） 上海的复杂外墙。（红色虚线矩形突出显示了街景图像中在立面实例分割期间容易发生故障的部分。图片来源：CC BY，2022 张佳新等，从城市数字孪生自动生成合成数据集，用于建筑立面的实例分割，计算设计与工程学报
自动分离出图像中出现的各个建筑立面对于施工管理和建筑设计，用于改造和能源分析的大规模测量，甚至可视化已被拆除的建筑立面都很有用。该系统在多个城市进行了测试，证明了拟议框架的可转移性。真实数据和合成数据的混合数据集为大多数现代建筑风格提供了有希望的预测结果。这使得它成为将来训练 DCNN 以执行架构分段任务的一种有前途的方法，而无需昂贵的手动数据注释。
该研究发表在《计算设计与工程杂志》上。
原文标题：City digital twins help train deep learning models to separate building facades
原文链接：https://techxplore.com/news/2022-09-city-digital-twins-deep-facades.html
作者：Osaka University
编译：LCR
