Mesterséges intelligencia alapú megoldások pontfelhők upsampling folyamatában / Artificial intelligence-based solutions for upsampling point clouds

Elsődleges fülek

Erre a témakiírásra nem lehet jelentkezni.
Nyilvántartási szám: 
24/23
Témavezető neve: 
Témavezető e-mail címe:
barsi.arpad@emk.bme.hu
A témavezető teljes publikációs listája az MTMT-ben:
A téma rövid leírása, a kidolgozandó feladat részletezése: 

A fotogrammetriai és lézerszkennelési technológiák által létrehozott pontfelhők a valós világ digitális reprezentációjának egyik legrészletesebb formáját kínálják. Számos iparágban felhasználhatók, beleértve az építőipart, a kulturális örökség digitalizálását és az autonóm járművek navigációját. A pontfelhők geometriai részleteket és színinformációkat tartalmaznak, amelyek hasznosak a modellezésben és megjelenítésben.
A pontfelhők feldolgozásának egyik legnagyobb kihívása az adatok hatalmas mennyisége. Az adatok tárolása, kezelése és zajszűrése jelentős számítási kapacitást igényel. A hiányzó adatok pótlása elengedhetetlen a pontos, nagy felbontású modellek létrehozásához. Az mesterséges intelligencia alkalmazása ígéretes megoldást kínál, mivel képes az adatok mintázatainak felismerése révén szintetikus adatokat generálni.
Az upsampling (felskálázás) folyamata az adatok felbontásának növelését célozza, új pontok generálásával. Ez különösen fontos, amikor az eredeti adatok nem elegendő részletességűek. A hagyományos módszerek, például az interpoláció, korlátozottan képesek kezelni a komplex geometriákat és zajos adatokat. Az mesterséges intelligencia alapú megoldások új lehetőségeket kínálnak a pontfelhők sűrűségének és pontosságának növelésére, de még nem elég kiforrottak. Az adathiány, a zajkezelés nehézségei és a számítási igények további fejlesztéseket tesznek szükségessé.
A kutatási téma a mélytanulási modellek fejlesztésére fókuszál, amelyek képesek a pontfelhők sűrűségének növelésére és zajszűrésre. Nyílt forráskódú pontfelhő-adatbázisok és saját mérések kombinációja segít a modellek tanításában. Az előfeldolgozás során a zajszűrés és a szegmentálás különösen fontos. A különböző módszerek alkalmazása lehetővé teszi a pontok szintetikus generálását. Emellett fontos a modellek validálása különböző alkalmazási területeken, például építészeti és ipari adatokat használva.
A generált pontok minőségének javítása érdekében a szín- és textúraadatok finomhangolása szükséges. Ehhez mélytanulási keretrendszerek, például TensorFlow vagy PyTorch ismerete, valamint geometriai modellezési és programozási tapasztalat szükséges. A pontfelhők mesterséges intelligencia alapú feldolgozása ígéretes terület, amely új lehetőségeket nyit meg a tudományos és ipari alkalmazások számára.

***

Point clouds, created by photogrammetry and laser scanning technologies, offer one of the most detailed forms of digital representation of the real world. They can be used in many industries, including construction, cultural heritage digitization and autonomous vehicle navigation. Point clouds contain geometric details and color information useful for modelling and visualization.
One of the biggest challenges in processing point clouds is the sheer volume of data. Data storage, processing and noise filtering require significant computing power. Filling in the missing data is essential to create accurate, high-resolution models. The application of artificial intelligence offers a promising solution, as it can generate synthetic data by recognizing patterns in the data.
The process of upsampling aims to increase the resolution of data by generating new points. This is particularly important when the original data is not sufficiently detailed. Traditional methods, such as interpolation, have limited ability to handle complex geometries and noisy data. Artificial intelligence-based solutions offer new possibilities to increase the density and accuracy of point clouds, but are not yet mature enough. Data scarcity, noise management difficulties and computational demands require further improvements.
The research topic focuses on the development of deep learning models that can increase the density of point clouds and filter noise. A combination of open-source point cloud databases and proprietary measurements will help to teach the models. In pre-processing, noise filtering and segmentation are particularly important. The use of different methods allows the synthetic generation of points. It is also important to validate models in different application domains, for example using architectural and industrial data.
Fine-tuning of color and texture data is necessary to improve the quality of the generated points. This requires knowledge of deep learning frameworks, such as TensorFlow or PyTorch, and experience in geometric modelling and programming. Artificial intelligence-based processing of point clouds is a promising area that opens up new opportunities for scientific and industrial applications.

A téma meghatározó irodalma: 

1. Russell, S.J., Norvig, P.: Artificial Intelligence: A Modern Approach, Pearson, 2020. p. 1136
2. Aggarwal, C.C.: Neural Networks and Deep Learning: A Textbook, Springer, 2018. p. 520
3. Palau, C.E. et al (Eds): Interoperability of Heterogeneous IoT Platforms: A Layered Approach (Internet of Things), Springer, 2021. p. 315
4. Chaudhary, G. et al (Eds): Digital Twin Technology, CRC Press, 2021. p. 240
5. Halliday, S.: Sustainable Construction, Routledge, 2018. p. 466

A téma hazai és nemzetközi folyóiratai: 

1. Automation in Construction, Elsevier, IF: 10.3, 2022 Q1
2. Journal of Computing in Civil Engineering, American Society of Civil Engineers (ASCE), IF: 6.9, 2022 Q1
3. Journal of Materials in Civil Engineering, American Society of Civil Engineers (ASCE), IF: 3.2, 2022 Q1
4. Periodica Polytechnica: Civil Engineering, IF: 1.8, 2022 Q3
5. Advances in Civil Engineering, IF: 1.8, 2022 Q3

A témavezető utóbbi tíz évben megjelent 5 legfontosabb publikációja: 

1. Barsi, Á., Lógó, J.M.: The Role of Topology In High-Definition Maps For Autonomous Driving, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XLIII-B4-2022, p. 6, 2022, DOI: 10.5194/isprs-archives-XLIII-B4-2022-383-2022
2. Barsi, Á., Csepinszky, A., Lógó, J.M., Krausz, N., Potó, V.: The role of map in autonomous driving simulations, Periodica Polytechnica Transportation Engineering, 48(4), pp. 363–368. Q2, DOI: 10.3311/PPtr.15852
3. Barsi, Á., Kugler, Zs., Juhász, A., Szabó, Gy., Batini, C., Abdulmuttalib, H., Huang, G., Shen, H.: Remote Sensing Data Quality Model: from data sources to lifecycle phases, International Journal of Image and Data Fusion, 10(4), pp. 280-299, 2019. IF: 2.3, Q1, DOI: 10.1080/19479832.2019.1625977
4. Török, Á., Barsi, Á., Bögöly, Gy., Lovas, T., Somogyi, Á., Görög, P.: Slope stability and rockfall assessment of volcanic tuffs using RPAS with 2-D FEM slope modelling, Natural Hazards and Earth System Sciences, 18(2), pp. 583-597, 2018 IF: 4.6, Q1, DOI: 10.5194/nhess-18-583-2018
5. Balázs, L.Gy., Czoboly, O., Lublóy, É., Kapitány, K., Barsi, Á.: Observation of steel fibres in concrete with Computed Tomography, Construction and Building Materials, 140(1), pp. 534-541, 2017, IF: 7.4, Q1, DOI: 10.1016/j.conbuildmat.2017.02.114

A témavezető fenti folyóiratokban megjelent 5 közleménye: 

1. Kapitány, K.,Barsi, Á.: Fourier transformation based CT correction method for geomaterial core samples, Journal of Materials in Civil Engineering, 28(1), p. 9, 2016, DOI: 10.1061/(ASCE)MT.1943-5533.0001349
2. Szántó, M., Kobál, S., Vajta, L., Horváth, V.Gy., Lógó, J.M., Barsi, Á.: Building Maps Using Monocular Image-feeds from Windshield-mounted Cameras in a Simulator Environment, Periodica Polytechnica Civil Engineering, 67(2), pp. 457–472, 2023. DOI: 10.3311/PPci.21500
3. Krausz, N., Potó, V., Lógó, J.M., Barsi, Á.: Comparison of Complex Traffic Junction Descriptions in Automotive Standard Formats, Periodica Polytechnica Civil Engineering, 66(1), pp. 282–290, 2022. DOI: 10.3311/PPci.18616
4. Lublóy, É., Ambrus, D., Kapitány, K., Barsi, Á.: Air Void Distribution of Asphalts Determined by Computed Tomography, Periodica Polytechnica Civil Engineering, 59(4), pp. 503–510, 2015. DOI: 10.3311/PPci.7608
5. Berényi, A., Lovas, T., Barsi, Á., Dunai, L.: Potential of Terrestrial Laserscanning in Load Test Measurements of Bridges, Periodica Polytechnica Civil Engineering, 53(1), pp. 25–33, 2009. DOI: 10.3311/pp.ci.2009-1.04

A témavezető eddigi doktoranduszai

Potó Vivien (2017/2021/2023)
Kapitány Kristóf (2012/2015/2015)
Sárközi Boglárka (2011/2014/)
Molnár Bence (2008/2012/2013)
Kertész Imre (2006/2009/2011)
Szeverényi Nikol (2006/2016/2018)
Schrott Péter (2005/2009/)
Kibédy Zoltán (2005/2007/)
Kugler Zsófia (2003/2006/2008)
Aliyev Nurlan (2024//)
Státusz: 
beküldött