安妮 编译整理
量子位 出品 | 公众号 QbitAI
近日,斯坦福大学的研究人员公布了一个数据集,其中包含带有相机姿态的街景数据、8个城市的3D模型和拓展的元数据。这个数据集数据量庞大,街景数据集就包含2500万张图像和1.18亿个匹配的图像对。
数据集可用于学习6DOF相机姿态估计/视觉运动、图像匹配及各种三维估计。比如下面的这个例子:
为了得到这个数据集,斯坦福的研究人员开发了一个系统,整合来自谷歌街景图像和地理元数据的城市间地理信息系统,这其中并不需要人工标注。
这个数据集涵盖了纽约、芝加哥、华盛顿、拉斯维加斯、佛罗伦萨、阿姆斯特丹、旧金山和巴黎市中心及周边地区。研究人员正逐步放出这些城市的3D模型、街景图片和元数据。模型是通过本身的地理标注和加工生成的生成的,下面是一些3D模型的示例快照。
8个城市中6个城市的覆盖范围如下:
数据集由2500万谷歌街景图像形成的1.18亿数据对组成。研究人员在上述城市的特定区域收集图像,根据城市的3D模型,对外立面密集采样和射线追踪,找到所有街景在无遮挡情况下相同的目标点的全景图。
研究人员掌握了每张图像街景相机的地理位置和目标点的位置。得益于谷歌街景的360度全景图,研究人员计算出镜头方向和俯仰角度,捕捉到一个640x640的全景图像,显示了中心各处的目标点。
如果两张图像显示同一个物理目标点,则配成一对。通常来说,每个目标点通常被2至7个对应的街景图像观察到。一个图像由一个640x640的jpg和命名相同的txt给出,其中包含元数据,例如相机和目标点的地理位置,距离目标的距离或相机角度。因为图像的文件名是街道视图位置和目标点编码的唯一ID,因此能够容易地识别出相应图像。最后,图像被压缩成多个zip文件。
相关论文这个数据集的相关研究还得追溯到去年。
在2016年欧洲计算机视觉会议(ECCV 2016)上,斯坦福大学的研究人员发表了一篇名为《GENERIC 3D REPRESENTATION VIA POSE ESTIMATION AND MATCHING》论文。
在这篇论文中,研究人员通过解决一组基本的代理3D任务学习通用的3D表示,即以对象为中心的相机姿态估计和宽基线特征匹配。
经过一年多的探索,迄今为止,研究人员已经开发出独立的语义和3D表示,他们在项目网页上表示,研究整合它们的具体技术是一个值得研究的未来方向。
资料下载GitHub数据集地址:
https://github.com/amir32002/3D_Street_View
斯坦福官方项目介绍:
http://3drepresentation.stanford.edu/
论文地址:
http://cvgl.stanford.edu/papers/zamir_eccv16.pdf
城市3D街景示例:
https://github.com/amir32002/3D_Street_View/tree/master/3D_cities_snapshots
祝你在3D世界玩得开心~
![](http://n.sinaimg.cn/finance/pc/cj/kandian/img/article_pic05.png)
4000520066 欢迎批评指正
All Rights Reserved 新浪公司 版权所有