学术分享丨清华大学孙富春教授团队研制“视触觉类传感器”解决花式布料缺陷检测难题

布料缺陷的自动化检测在目前的布料工业生产的过程中是不可或缺的一部分。目前现有的布料缺陷检测方法都是在布料生产流水线的上方架设工业相机，然后基于工业相机所拍摄的视觉图像进行缺陷检测。虽然该视觉方法具备着成本低且设备结构简单的优势，但是受到布料表面多样的染色花纹的影响，该方法难以兼顾所用缺陷检测算法的复杂程度、通用性和检测准确率，这使得检测算法成为了现有视觉方法的一个瓶颈。

清华大学孙富春教授团队研制了视触觉的传感装置，提出了一种使用触觉信息来检测布料结构性缺陷的方法，该方法所得到的布料触觉图像不会受到待检测布料表面的染色花纹的影响，并且可以使布料的结构性缺陷更加清晰明显、易于检测。相关论文发表于ICRA 2021《Fabric defect detection usingtactile information》, 并获得了ICRA Automation最佳论文提名奖（4/4056）。进一步针对在触觉方法中出现纹理影响，提出基于注意力机制的深度学习方法，可以有效提高模型训练的稳定性以及缺陷检测结果的准确率，论文《Tactile-based Fabric Defect Detection Using Convolutional Neural Network with Attention Mechanism》发表于IEEE Transactionson Instrumentation and Measurement。

该团队将下图所示触觉传感器搭载在桌面机械臂上进行触觉数据的采集。由机械臂控制着在布料样品上进行随机采样。每次机械臂都会随机选择布料样品的一个位置，然后控制触觉传感器垂直向下以相同的压力按压布料样品，之后连接触觉传感器的电脑会自动记录传感器所获取的布料触觉图像。一共使用了9种带有不同缺陷的不同种类布料作为样品进行数据集的采集。这些布料样品包含了各种常见的布料种类、花纹，并各自带有不同的结构性缺陷。对于每一种布料样品，选择了有缺陷的图像和正常的图像各约100张，总共得到1768张触觉图像。

同时为了进行对比实验，该团队还建立了布料视觉图像数据集。其数据采集平台下图所示，在布料样品上方架设相机对每一种布料样品进行拍摄采样。使用与触觉数据集采集时所使用的方法相同，对于采集到的图像进行人工筛选，去除掉拍摄到布料边缘的图像，之后再标注每一张图像是否包含缺陷。对于每一种布料样品，收集了有缺陷的图像和正常的图像各100张，总共得到1800张视觉图像。数据集已公开（https://github.com/tsinghua-rll/fabric-texture-dataset）。

在使用触觉方法来做布料缺陷检测时，虽然布料的结构性缺陷特征会被触觉传感器放大，但是布料本身的纺织纹理特征也同样会被放大。这意味着相较于视觉图像而言，在所得到的触觉检测图像中会包含有更为粗糙明显的纹理信息作为背景噪声。这些噪声在一定程度上会干扰到模型对于缺陷的检测，导致检测准确率的下降。特别是那些对图像中的细节信息十分敏感的深层的网络模型，其训练很容易受到粗糙的纹理噪声影响。而我们人在观察布料触觉图像时，之所以能够快速的找到缺陷的位置，是因为我们的视觉系统无意识的忽略了图像中的背景纹理噪声，而将关注点聚焦在缺陷的位置。该团队提出了基于注意力机制的深度学习网络模型，如下图所示，可以帮助模型更倾向于注意到布料缺陷的位置，从而缓解模型受到粗糙纹理噪声的干扰。

该团队还讨论了基于触觉的布料缺陷检测方法在实际应用中的可行性。首先通过实验验证了触觉检测方法具备的理论检测效率能够满足实际生产需求，并提出了一种高效的触觉检测装置，使其实际检测效率能接近所计算的理论检测效率。 

该团队提出可应用于实际产线视触觉布料检测的一种滚筒型触觉检测装置，其结构如下图所示。该滚筒型触觉传感器的组成部分和感知原理与前述实验中所使用的触觉传感器类似，但是根据布料生产的特性将透明弹性体及其支撑结构设计为了滚筒的形状以提高检测效率。摄像机被固定在位于滚筒中心的轴上，其始终朝向布料与滚筒接触的一方以记录弹性体发生的形变。利用该装置，触觉传感器就可以在布料生产的过程中持续获取经过布料的表面触觉信息，可以充分发挥检测算法的效率。因此在使用该装置时，对于布料缺陷的实际检测效率就可以接近前述实验中所计算的理论检测效率，这为触觉方法在布料缺陷检测中的实际应用提供了一种可能的解决方案。

该团队研究主要贡献可以概括为以下四点：

1.提出了一种利用触觉信息进行布料缺陷检测的新方法，该方法有效避免了织物表面图案和环境条件等对于缺陷检测算法的影响。这可以有效提高检测算法的通用性和鲁棒性。同时通过实验证明，触觉检测方法比起视觉方法来说有更高的检测准确率。

2.针对所提出的触觉方法中，布料纹理较为粗糙的触觉信息对模型训练以及检测准确率造成影响的问题，提出了更加适应触觉数据集的缺陷检测算法。为模型引入了注意力机制，这可以有效避免触觉纹理信息对检测模型的影响，从而提高触觉方法的训练稳定性和检测准确率。

3.建立了一个布料触觉数据集，包含有在9种带有不同结构性缺陷的布料上分别采集的有缺陷和无缺陷的触觉数据。同时，还相应地在这9种布料上采集了布料视觉数据作为视觉数据集，该视觉数据集可以用于对照实验使用。

4.讨论了触觉方法在实际布料生产中应用可行性。首先通过实验，对触觉方法的理论检测效率进行了验证。之后，设计了一种能够很好地适应触觉传感器特性的新型布料缺陷检测装置，该装置能够大幅提高对布料的实际检测效率。上述讨论为触觉检测方法在布料生产过程中的实际应用提供了可行的解决方案。

参考文献：

B. Fang, X. Long, F. Sun, H. Liu, S. Zhang and C. Fang, "Tactile-based Fabric Defect Detection Using Convolutional Neural Network with Attention Mechanism," in IEEE Transactions on Instrumentation and Measurement, doi: 10.1109/TIM.2022.3165254.

本文由CAAI认知系统与信息处理专委会供稿