پردازش داده های ابر نقطه ای، مانند اسکن های به دست آمده توسط سیستم های LiDAR، موضوع مورد علاقه در زمینه های بینایی ماشین و روباتیک است [1]. برای اینکه ماشین محتویات یک صحنه اسکن شده را بفهمد، اغلب لازم است که صحنه را با برچسب گذاری هر نقطه به صورت معنایی بخش بندی کند. اکثر رویکردهای فعلی برای وظایف تقسیم‌بندی معنایی در ابرهای نقطه‌ای از روش‌های یادگیری ماشینی نظارت‌شده استفاده می‌کنند که بر داده‌های آموزشی فراوان و با برچسب دقیق تکیه می‌کنند. با این حال، تولید داده‌های آموزشی مناسب نسبتا کمیاب و پرهزینه است، زیرا کار حاشیه‌نویسی دستی هر نقطه در یک صحنه پر زحمت و زمان‌بر است. بنابراین سودمند است که روش‌های تقسیم‌بندی معنایی را توسعه دهیم که وقتی تنها مقدار کمی از داده‌های مشروح در دسترس باشد، مؤثر باشد. تکنیک‌های یادگیری نیمه‌نظارت‌شده برای مدیریت مؤثر کمیابی داده‌های برچسب‌دار با ترکیب داده‌های بدون برچسب در آموزش استفاده شده‌اند. با این حال، تنها چند کار با توجه به تقسیم بندی معنایی ابرهای نقطه ای به این موضوع پرداخته اند.
ما پیشنهاد می‌کنیم که شبه‌برچسب‌گذاری را با PointNet [2] ادغام کنیم تا تکنیکی را تشکیل دهیم که می‌تواند به صورت معنایی یک صحنه ابر نقطه‌ای را با تنها چند نقطه برچسب‌گذاری شده برچسب‌گذاری کند. PointNet یک معماری شبکه عصبی عمیق است که برای کار مستقیم با ابرهای نقطه طراحی شده است که به ما امکان می دهد صحنه را بدون تعریف صریح ویژگی های از پیش تعیین شده پردازش کنیم. برچسب گذاری شبه شکلی از یادگیری نیمه نظارت شده است که در آن طبقه بندی کننده آموزش می بیند، برای پیش بینی استفاده می شود و سپس با در نظر گرفتن پیش بینی های انتخابی به عنوان حقیقت پایه، دوباره آموزش می بیند. ما از این روش برای گنجاندن داده‌های بدون برچسب اولیه در آموزش استفاده می‌کنیم. برای کمک به انتخاب شبه‌برچسب‌های دقیق، انتساب شبه‌برچسب‌ها را به نقاط نزدیک به نقاطی که قبلاً برچسب‌گذاری شده‌اند، اولویت‌بندی می‌کنیم. از آنجایی که نقاط نزدیک فضایی احتمال اشتراک گذاری یک برچسب را افزایش می دهند، این باعث اولویت بندی پیش بینی هایی می شود که احتمال درستی آنها بیشتر است.
برای دانلود پروژه نمونه، شبه برچسب گذاری معنایی برای خوشه بندی تصویر، به همراه شبیه سازی، اینجا کلیک کنید.
تقسیم بندی معنایی ابرهای نقطه ای
طبقه بندی نقطه ای مبتنی بر ویژگی مانند [1، 7، 8] به طور سنتی روش انتخاب وظایف تقسیم بندی معنایی [9] بوده است. ویژگی‌های نقطه‌ای توصیفی بر اساس یک محله محلی محاسبه می‌شوند و برای آموزش یک طبقه‌بندی‌کننده مانند جنگل تصادفی یا ماشین بردار پشتیبان استفاده می‌شوند. سودمندی این رویکرد به دلیل تکیه بر ویژگی های از پیش تعریف شده محدود می شود.
برای غلبه بر محدودیت‌های رویکردهای سنتی، بسیاری از کارهای اخیر از شبکه‌های عصبی عمیق استفاده می‌کنند. مثال‌ها عبارتند از شبکه‌های عصبی کانولوشنال دوبعدی (CNN) [10] که بر روی نماهای رندر شده داده‌ها، CNNهای سه بعدی [11] که بر روی نمایش‌های وکسل داده‌های سه‌بعدی کار می‌کنند، و شبکه‌هایی که مستقیماً روی داده‌های ابر نقطه‌ای عمل می‌کنند [2، 12]. این روش‌ها بسیار متنوع‌تر از رویکردهای سنتی هستند، زیرا شبکه‌های عصبی قادر به نمایش داده‌ها بدون ویژگی‌های از پیش تعریف‌شده هستند. نمودار ابرنقطه [13] به بهترین عملکرد در مجموعه داده های متعدد برای تقسیم بندی معنایی دست یافته است. نمودار ابر نقطه ای PointNet [2] را با روش های گرافیکی برای رمزگذاری ویژگی های محلی و اطلاعات زمینه ای ترکیب می کند. در کار خود، ما همچنین از PointNet به عنوان پایه ای که متد خود بر آن ساخته شده است استفاده می کنیم.
کارهایی که در بالا توضیح داده شد بر آموزش با ابرهای نقطه ای با برچسب متراکم تمرکز دارند. با این حال، ما علاقه مند به یادگیری بر اساس تعداد کاهش یافته از نکات برچسب گذاری شده هستیم. روش‌های تقسیم‌بندی تعاملی مانند [14-16] را می‌توان برای برچسب‌گذاری گروه‌های نقاط با ایجاد یک طبقه‌بندی باینری پیش‌زمینه/پس‌زمینه بر اساس حاشیه‌نویسی‌های پراکنده استفاده کرد. با این حال، برای به دست آوردن یک برچسب معنایی کامل از صحنه، شناسایی و طبقه‌بندی هر نمونه شی به صورت دستی ضروری است. اگر اشیاء متمایز زیادی در سرتاسر صحنه پراکنده شده باشند، این می‌تواند زمان‌بر باشد. در [9]، از پیش تقسیم بندی بدون نظارت برای تولید نمونه هایی از اشیاء ابتدا قبل از حاشیه نویسی توسط یک اپراتور انسانی استفاده می شود. سپس از نمونه‌های برچسب‌گذاری شده به همراه محدودیت‌های زوجی برای آموزش یک طبقه‌بندی کننده به صورت نیمه نظارت شده استفاده می‌شود. این روش بر روی نمایش تصویر محدوده صحنه عمل می کند و از CNN برای طبقه بندی استفاده می کند. نمایش تصویر محدوده، کاربرد این تکنیک را محدود می کند، زیرا فریم های داده منفرد اغلب در دسترس نیستند. طبقه‌بندی به کمک تقسیم‌بندی [17] همچنین از پیش تقسیم‌بندی برای کار با حاشیه‌نویسی پراکنده استفاده می‌کند. بخش‌ها ابتدا بر اساس خروجی یک طبقه‌بندی نقطه‌ای طبقه‌بندی می‌شوند و توسط یک میدان تصادفی شرطی (CRF) پردازش می‌شوند. استفاده آنها از نظارت ضعیف (توسط خروجی طبقه‌بندی‌کننده نقطه‌ای) بر نیاز به طبقه‌بندی دستی نمونه‌های شی غلبه می‌کند. با این حال، یک اشکال مهم این روش، تکیه بر ویژگی های مهندسی شده دقیق برای ثبت هندسه است. با این وجود، این روش، تا جایی که ما می دانیم، بهترین حالت برای این کاربرد است.
منابع
Weinmann M, Urban S, Hinz S, Jutzi B, Mallet C (2015) Distinctive 2D and 3D features for automated large-scale scene analysis in urban areas. Comput Graphics 49:47–57.
Qi CR, Su H, Mo K, Guibas LJ (2017) Pointnet: deep learning on point sets for 3D classification and segmentation In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 652–660. https://doi.org/10.1109/cvpr.2017.16.
Munoz D, Bagnell JA, Vandapel N, Hebert M (2009) Contextual classification with functional max-margin Markov networks In: IEEE Conference on Computer Vision and Pattern Recognition, 975–982.. IEEE. https://doi.org/10.1109/cvpr.2009.5206590.
Hackel T, Savinov N, Ladicky L, Wegner JD, Schindler K, Pollefeys M (2017) SEMANTIC3D.NET: a new large-scale point cloud classification benchmark In: ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. IV-1-W1, 91–98. https://doi.org/10.5194/isprs-annals-iv-1-w1-91-2017.
Armeni I, Sener O, Zamir AR, Jiang H, Brilakis I, Fischer M, Savarese S (2016) 3D semantic parsing of large-scale indoor spaces In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1534–1543. https://doi.org/10.1109/cvpr.2016.170.
Xu K, Yao Y, Murasaki K, Ando S, Sagata A (2019) Semantic segmentation of sparsely annotated 3D point clouds by pseudo-labelling In: International Conference on 3D Vision (3DV), 463–471.. IEEE. https://doi.org/10.1109/3dv.2019.00058.
Munoz D, Vandapel N, Hebert M (2009) Onboard contextual classification of 3-D point clouds with learned high-order Markov random fields In: 2009 IEEE International Conference on Robotics and Automation.. IEEE. https://doi.org/10.1109/robot.2009.5152856.
Zhao H, Liu Y, Zhu X, Zhao Y, Zha H (2010) Scene understanding in a large dynamic environment through a laser-based sensing In: 2010 IEEE International Conference on Robotics and Automation, 127–133.. IEEE. https://doi.org/10.1109/robot.2010.5509169.
Mei J, Gao B, Xu D, Yao W, Zhao X, Zhao H (2019) Semantic segmentation of 3D lidar data in dynamic scene using semi-supervised learning. IEEE Trans Intell Transp Syst. https://doi.org/10.1109/tits.2019.2919741.
Boulch A, Saux BL, Audebert N (2017) Unstructured point cloud semantic labeling using deep segmentation networks. 3DOR 2:7.
Tchapmi LP, Choy C, Armeni I, Gwak J, Savarese S (2017) Segcloud: semantic segmentation of 3D point clouds In: International Conference on 3D Vision (3DV), 537–547.. IEEE. https://doi.org/10.1109/3dv.2017.00067.
Qi CR, Yi L, Su H, Guibas LJ (2017) Pointnet++: deep hierarchical feature learning on point sets in a metric space In: Advances in Neural Information Processing Systems, 5099–5108. https://doi.org/10.1109/cvpr.2017.16.
Landrieu L, Simonovsky M (2018) Large-scale point cloud semantic segmentation with superpoint graphs In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 4558–4567. https://doi.org/10.1109/cvpr.2018.00479.
Liu K, Boehm J (2014) A new framework for interactive segmentation of point clouds In: International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences-ISPRS Archives, vol. 40, 357–362. International Society for Photogrammetry and Remote Sensing. https://doi.org/10.5194/isprsarchives-xl-5-357-2014.
Vo A, Truong-Hong L, Laefer DF, Bertolotto M (2015) Octree-based region growing for point cloud segmentation. ISPRS J Photogramm Remote Sens 104:88–100.
Golovinskiy A, Funkhouser T (2009) Min-cut based segmentation of point clouds In: IEEE 12th International Conference on Computer Vision Workshops, 39–46. https://doi.org/10.1109/iccvw.2009.5457721.
Guinard S, Landrieu L (2017) Weakly supervised segmentation-aided classification of urban scenes from 3D lidar point clouds In: ISPRS – International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. XLII-1/W1, 151–157. https://doi.org/10.5194/isprs-archives-xlii-1-w1-151-2017
پروژه مشابه دارید؟
برای ثبت سفارش در سیمیا می توانید از طریق اپلیکیشن سیمیا، یا فرم ثبت سفارش در سایت اقدام کرده و یا از طریق ایمیل، واتساپ، تلگرام و اینستاگرام اقدام نمایید.
اپلیکیشن سیمیا را از بازار و مایکت دانلود کنید.
سریع ترین راه پاسخگویی سیمیا، واتساپ و سروش می باشد. لینک واتساپ، اینستاگرام و تلگرام در پایین سایت وجود دارد.
09392265610
نشانی ایمیل سیمیا simiya_ht@yahoo.com می باشد.
از برقراری تماس برای هماهنگی پروژه خودداری کنید، حجم بالای سفارشات به ما اجازه نمی دهد تا از طریق تلفن پاسخگوی شما عزیزان باشیم، حتما درخواست خود را به صورت مکتوب و از طریق یکی از راه های ذکر شده فوق ارسال نمایید، درخواست خود را به طور کامل و با تمام فایل ها و توضیحات لازم ارسال نمایید تا مدت زمان بررسی آن به حداقل برسد. پس از تعیین کارشناس، در اسرع وقت به شما پاسخ می دهیم.
