中玉金标记(北京)生物技术股份有限公司(以下简称中玉金公司),主要从事与基因检测及农作物育种相关的技术开发、推广、咨询和技术培训,拥有我国最先进、通量最高的分子标记实验室。
2018年,中玉金公司启动水稻种子的基因分子标记项目。其中,在对种子切片提取基因后,种子就要被保存在贴有密封膜的存储盒中,以隔绝外界环境。该密封膜质厚、透明并且在贴附时有褶皱。
In-Sight8200正在对切片后的玉米种子进行识别定位
而在对切片进行基因提取时,需要人工揭开整个密封膜,用镊子将种子从存储盒中夹出。这样的流程就带来了两个问题:1)揭开保护膜有可能导致整个存储盒的种子被污染;2)人工夹取种子太慢,费时费力。
"在未采用视觉设备之前,我们都是人工从存储盒中用镊子把玉米种子夹出来,再放到对应的收料盒里面,在这之前还需要用扫码枪读取两个盒上的条形码信息,以便后续实验做参照。"中玉金公司的实验室主管张博士表示,"这套流程下来效率非常低,常常导致各种实验项目延期。"
为了提高实验效率,中玉金公司引进了一套装备有视觉模块的自动化设备,实现了用机械手自动夹取种子。
该自动化设备从结构上共分为3大模块:堆栈式上料模块、机械手视觉模块、堆栈式下料模块。堆栈式上、下料模块用于种子存储盒的自动送盒、收盒。机械手视觉模块是该设备的核心,由4轴机械手、视觉系统、玉米种子夹取机构组成,主要功能是精确定位种子、引导机械手扎破密封膜,并吸取种子。
但是,如何扎破密封膜把种子取出来是应用该设备最大的难点。解决问题的关键就是怎样透过反光、褶皱的密封膜精准地定位孔位。密封膜的扎破由机械手末端的6刃刀执行。如果定位失败或偏差太大,刀具就会把存储盒扎破,导致报废。
设备启用伊始,在使用传统的模板匹配算法下,由于密封膜的反光和褶皱导致了10%-15%的识别错误率,多次试验都以失败告终。
密封种子存储盒中的玉米种子
为了解决困扰设备正常运行的难题,中玉金公司的工程师们开始寻找解决方案。在一次展会上,他们结识了康耐视公司的销售工程师,了解到康耐视对反光产品的识别有对应的项目经验,于是就邀请康耐视的专家来实验室进行现场评估。
在接到中玉金公司的项目需求后,康耐视迅速派出了技术工程师,在对该项目进行了详细的论证和大量的实验后,推荐使用带有PatMax功能的In-Sight 8200视觉系统。
优化后的设备工作流程如下:
1)堆栈式料仓自动放出一盒储料盒;
2)运行到抓取位后,识别储料盒的条形码并录入控制系统,相机开始识别种子位置;
3)根据系统中确定需要挑选的孔位,机械手带着相机移动到指定位置对孔位中的种子进行识别,识别成功后,相机返回种子的坐标信息给机械手;
4)末端执行器首先扎破密封膜,然后末端执行器上的吸盘把种子吸附起来;
5)堆栈式收料仓放出一个空盒,待空盒移动到定位点,读码器读取料盒上的条形码;
6)机械手移动并将种子并按依次放入收料盒中,系统保存收料盒条形码信息、储料盒条码信息,使被挑取出来的种子信息一一对应。
在测试中,中玉金公司的工程师们惊喜地发现,在PatMax算法帮助下,再加上机械手末端的低角度随动光源,即使某些反光强烈、褶皱较大的孔位也能进行准确定位。识别孔位的成功率高达97%-99%。
最终,借助In-Sight 8200视觉系统强大的软件工具,完美解决了以下检测挑战:1)密封膜反光问题;2)孔位内种子打光不足,导致无法识别的问题;3)密封膜褶皱导致的无法识别的问题。
识别程序:首先判断孔内是否有玉米粒?如果有的话定位孔的中心,并把坐标传给机械手
In-Sight 8200视觉系统的顺利导入,成功解决了设备瓶颈,极大降低了人工操作强度和人工输入数据的概率,提高了设备运行稳定性和实验室分子标记的速度,得到中玉金公司的一致肯定,为中国分子育种事业的快速发展添了浓重一笔。
"玉米种子实现了自动挑选,节省了实验室的人力成本和种子的挑选速度,最重要是应用了单孔式扎破密封膜拿走种子的作业方式,避免了其它种子受到外部环境污染,最大限度保证了切片后种子和切片基因的相关性。"中玉金公司的实验室主管张博士对该设备的研发成功给予了高度评价,"现在实验室正在探讨使用深度学习的算法进行水稻胚芽识别,将来我们也会和康耐视保持战略合作,以确保该项目的顺利实施。"