Kalibrierfreie 3D-Rekonstruktion von gekrümmten Oberflächen mittels orthographischer Projektion unter Verwendung von Reflexionsmarkern
-
Christian Negara
Christian Negara ist wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB. Seine Forschungsschwerpunkte liegen in den Bereichen Ellipsometrie, hyperspektrale Bildverarbeitung und multivariate Verfahren.
,
Thomas Längle
Thomas Längle ist außerplanmäßiger Professor am Karlsruher Institut für Technologie (KIT) in Karlsruhe und Leiter des Geschäftsbereichs “Vision Based Inspection Systems” (SPR) am Fraunhofer IOSB in Karlsruhe. Seine Forschungsinteressen umfassen verschiedene Aspekte der Bildverarbeitung und Echtzeitalgorithmen für Inspektionssysteme.
Jürgen Beyerer (geb. 1961) ist seit März 2004 ordentlicher Professor für Informatik am Institut für Anthropomatik und Robotik am Karlsruher Institut für Technologie KIT und Leiter des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB in Ettlingen, Karlsruhe, Ilmenau und Lemgo. Zu den Forschungsinteressen zählen automatisierte visuelle Inspektion, Signal- und Bildverarbeitung, variable Bildaufnahme und -verarbeitung, aktive Sichtprüfung, Messtechnik, Informationstheorie, Daten- und Informationsfusion aus heterogenen Quellen, Systemtheorie, autonome Systeme, maschinelles Lernen, Industrie 4.0 und Automatisierung.
Zusammenfassung
Die optische Vermessung gekrümmter Oberflächen erfolgt meist über problemspezifische Messverfahren und Algorithmen zur 3D-Rekonstruktion, die an die optischen Eigenschaften der zu untersuchenden Oberfläche angepasst sind. In diesem Artikel wird ein Verfahren zur 3D-Rekonstruktion von Freiformflächen vorgestellt, das das Oberflächenrelief in einem telezentrischen Strahlengang mit einer telezentrischen Abbildungsoptik und einer koaxialen telezentrischen Beleuchtung erfasst. Die untersuchte Oberfläche des Prüflings kann dabei texturiert oder untexturiert und transparent, spiegelnd oder diffus sein. Die Oberfläche wird dabei nicht direkt vermessen, sondern mittels darauf aufgebrachter retroreflektierender Marker rekonstruiert. Da zwischen den Markern keine Messwerte vorliegen, können nur Oberflächen rekonstruiert werden, die eine örtliche Glattheit aufweisen. Mit einem Verfahren für monokulares Stereo werden aus einer Bildserie simultan sowohl die Kameraposen als auch die 3D-Koordinaten der Reflexionsmarker berechnet. Die sonst übliche Kalibrierung der extrinsischen Kameraparameter entfällt. Anschließend wird eine parametrische B-Spline-Oberfläche gefittet, aus der sowohl das Oberflächenrelief als auch die Oberflächennormalen berechnet werden können.
Abstract
The optical measurement of curved surfaces is usually performed via problem-specific measurement methods and algorithms for 3D reconstruction, which are adapted to the optical properties of the surface to be examined. A method for 3D reconstruction of free-form surfaces is proposed, which estimates the surface relief by a telecentric optical path using a telecentric optic combined with a telecentric, co-axial illumination. The surface under inspection can be textured or untextured and transparent, reflective or diffuse. The surface is not measured directly but estimated by acquiring images of retroreflective markers which are put on the surface. Because of missing measurements between the markers, only smooth surfaces can be reconstructed. Structure-from-motion is used to simultaneously calculate the 3D coordinates of the markers as well as the camera poses. A calibration of the extrinsic camera parameters is therefore not needed. Finally, a parametric B-spline surface is fitted from which the surface relief as well as the surface normals can be determined.
About the authors
Christian Negara ist wissenschaftlicher Mitarbeiter am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB. Seine Forschungsschwerpunkte liegen in den Bereichen Ellipsometrie, hyperspektrale Bildverarbeitung und multivariate Verfahren.
Thomas Längle ist außerplanmäßiger Professor am Karlsruher Institut für Technologie (KIT) in Karlsruhe und Leiter des Geschäftsbereichs “Vision Based Inspection Systems” (SPR) am Fraunhofer IOSB in Karlsruhe. Seine Forschungsinteressen umfassen verschiedene Aspekte der Bildverarbeitung und Echtzeitalgorithmen für Inspektionssysteme.
Jürgen Beyerer (geb. 1961) ist seit März 2004 ordentlicher Professor für Informatik am Institut für Anthropomatik und Robotik am Karlsruher Institut für Technologie KIT und Leiter des Fraunhofer-Instituts für Optronik, Systemtechnik und Bildauswertung IOSB in Ettlingen, Karlsruhe, Ilmenau und Lemgo. Zu den Forschungsinteressen zählen automatisierte visuelle Inspektion, Signal- und Bildverarbeitung, variable Bildaufnahme und -verarbeitung, aktive Sichtprüfung, Messtechnik, Informationstheorie, Daten- und Informationsfusion aus heterogenen Quellen, Systemtheorie, autonome Systeme, maschinelles Lernen, Industrie 4.0 und Automatisierung.
Literatur
1. Christian Negara and Thomas Längle. Kalibrierfreie 3D-Rekonstruktion von spiegelnden Oberflächen mittels Orthogonalprojektionen unter Verwendung von Reflexionsmarkern. In Thomas Längle, Fernando Puente León, and Michael Heizmann, editors, Forum Bildverarbeitung 2018: [29.–30. Novemver 2018 in Karlsruhe], pages 47–58, KIT Scientific Publishing, Karlsruhe, 2018.Search in Google Scholar
2. Jürgen Beyerer, Fernando Puente León, and Christian Frese. Automatische Sichtprüfung: Grundlagen, Methoden und Praxis der Bildgewinnung und Bildauswertung, 2., erweiterte und verbesserte auflage edition. Springer Vieweg, Berlin and Heidelberg, 2016.10.1007/978-3-662-47786-1Search in Google Scholar
3. C. DeCusatis. Handbook of Applied Photometry. Aip Press Series. American Inst. of Physics, 1997.Search in Google Scholar
4. Ravi Garg, Anastasios Roussos, and Lourdes Agapito. A variational approach to video registration with subspace constraints. International journal of computer vision, 104:286–314, 2013.10.1007/s11263-012-0607-7Search in Google Scholar PubMed PubMed Central
5. Carlo Tomasi and Takeo Kanade. Shape and motion from image streams under orthography: a factorization method. International journal of computer vision, 9(2):137–154, 1992.10.1007/BF00129684Search in Google Scholar
6. Christian Negara and Masoud Roschani. Effiziente probabilistische B-Spline-Oberflächenrekonstruktion durch Verwendung eines Informationsfilters. In Fernando Puente León, editor, Forum Bildverarbeitung, pages 131–142, Technische Informationsbibliothek u. Universitätsbibliothek and KIT Scientific Publishing, Hannover and Karlsruhe, 2012.Search in Google Scholar
7. Stefan Werling, Michael Mai, Michael Heizmann, and Jürgen Beyerer. Inspection of specular and partially specular surfaces. Metrology and Measurement Systems, 16:415–431, 2009.Search in Google Scholar
8. Daisuke Miyazaki, Megumi Saito, Yoichi Sato, and Katsushi Ikeuchi. Determining surface orientations of transparent objects based on polarization degrees in visible and infrared wavelengths. Journal of the Optical Society of America A, 19(4):687, 2002.10.1364/JOSAA.19.000687Search in Google Scholar PubMed
9. Katsushi Ikeuchi. Determining surface orientation of specular surfaces by using the photometric stereo method. Pattern Analysis and Machine Intelligence, IEEE Transactions on, PAMI-3:661–669, 1981.10.1109/TPAMI.1981.4767167Search in Google Scholar PubMed
10. David Cyganski, John A. Orr, David J. Cubanski, and Steven E. Shiller. Implementation aspects and performance of 3-D object reconstruction from silhouettes. In Bernd Girod, editor, Sensing and Reconstruction of Three-Dimensional Objects and Scenes, SPIE Proceedings, pages 171–179, SPIE, 1990.10.1117/12.20016Search in Google Scholar
11. Richard Szeliski. Computer Vision: Algorithms and Applications, 1st edition. Springer-Verlag New York, Inc., New York, NY, USA, 2010.Search in Google Scholar
12. Yuri Boykov, Olga Veksler, and Ramin Zabih. Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1222–1239, 2001.10.1109/ICCV.1999.791245Search in Google Scholar
13. Vladimir Kolmogorov and Ramin Zabih. What energy functions can be minimized via graph cuts? IEEE Transactions on Pattern Analysis and Machine Intelligence, 26:147–159, 2004.10.1109/TPAMI.2004.1262177Search in Google Scholar PubMed
14. Y. Boykov and V. Kolmogorov. An experimental comparison of min-cut/max- flow algorithms for energy minimization in vision. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 26(9):1124–1137, sept. 2004.10.1109/TPAMI.2004.60Search in Google Scholar PubMed
15. Christian Negara. Probabilistische Oberflächenrekonstruktion durch Planungsbasierte Kameraaufnahmen. Diplomarbeit, Karlsruher Institut für Technologie (KIT), 2011.Search in Google Scholar
16. Noah Snavely, Steven M. Seitz, and Richard Szeliski. Modeling the world from internet photo collections. International Journal of Computer Vision, 80(2):189–210, 2008.10.1007/s11263-007-0107-3Search in Google Scholar
17. C. Zach, T. Pock, and H. Bischof. A duality based approach for realtime tv-l 1 optical flow. In Fred A. Hamprecht, Christoph Schnörr, and Bernd Jähne, editors, Pattern recognition, volume 4713 of Lecture Notes in Computer Science, pages 214–223. Springer, Berlin, 2007.10.1007/978-3-540-74936-3_22Search in Google Scholar
18. Thomas Brox, Andrés Bruhn, Nils Papenberg, and Joachim Weickert. High accuracy optical flow estimation based on a theory for warping. In Tomás Pajdla and Jiří Matas, editors, Computer Vision – ECCV 2004, volume 3024 of Lecture Notes in Computer Science, pages 25–36. Springer, Berlin and Heidelberg, 2004.10.1007/978-3-540-24673-2_3Search in Google Scholar
19. Michal Irani. Multi-frame correspondence estimation using subspace constraints. International Journal of Computer Vision, 48(3):173–194, 2002.10.1023/A:1016372015744Search in Google Scholar
20. Bill Triggs, Philip F. McLauchlan, Richard I. Hartley, and Andrew W. Fitzgibbon. Bundle adjustment – a modern synthesis. In Bill Triggs, Andrew Zisserman, and Richard Szeliski, editors, Vision Algorithms: Theory and Practice, volume 1883 of Lecture Notes in Computer Science, pages 298–372. Springer, Berlin and Heidelberg, 2000.10.1007/3-540-44480-7_21Search in Google Scholar
21. Les Piegl and Wayne Tiller. The NURBS book, 2. ed. edition,. Monographs in visual communications, pp. 629–638, Springer, Berlin, 1997. Literaturverz.10.1007/978-3-642-59223-2Search in Google Scholar
22. Y. F. Wang and Jih fang Wang. On 3D model construction by fusing heterogeneous sensor data. CVGIP-Image Understanding, 60, 1994.10.1006/ciun.1994.1048Search in Google Scholar
23. Yunbao Huang and Xiaoping Qian. Dynamic B-spline surface reconstruction: Closing the sensing-and-modeling loop in 3D digitization. Computer-Aided Design, 39(11):987–1002, 2007.10.1016/j.cad.2007.06.008Search in Google Scholar
24. Farokh A. Marvasti, editor. Nonuniform sampling: Theory and practice. Information technology. Kluwer Academic/Plenum Publ., New York, 2001.10.1007/978-1-4615-1229-5_4Search in Google Scholar
25. Dale H. Mugler and Wolfgang Splettstößer. Reconstruction of two-dimensional signals from irregularly spaced samples. In Dietrich Meyer-Ebrecht, editor, ASST ’87 6. Aachener Symposium für Signaltheorie, volume 153 of Informatik-Fachberichte, pages 41–44. Springer, Berlin and Heidelberg, 1987.10.1007/978-3-642-73015-3_5Search in Google Scholar
© 2019 Walter de Gruyter GmbH, Berlin/Boston
Articles in the same Issue
- Frontmatter
- Editorial
- Forum Bildverarbeitung 2018
- Beiträge
- Kamerabasierte Erfassung von Vitalparametern
- Präzise Vermessung von Zuckerrübenkeimlingen mit dem phenoTest
- Kalibrierfreie 3D-Rekonstruktion von gekrümmten Oberflächen mittels orthographischer Projektion unter Verwendung von Reflexionsmarkern
- Stochastische Texturerkennung zur Bildsegmentierung
- Automated discrimination of surface imperfections and adhered particles on customer-specific optical elements
- Deep-learned faces of pain and emotions: Elucidating the differences of facial expressions with the help of explainable AI methods
- Ein evolutionärer Ansatz für aufgabenspezifische MobileNet-Topologien
- Extended noise equalisation for image compression in microscopical applications
- Subtleties of extrinsic calibration of cameras with non-overlapping fields of view
- Bilderzeugung von virtuellen Szenen mittels vier- und sechseckbasierter oder wahlfreier Rasterung
Articles in the same Issue
- Frontmatter
- Editorial
- Forum Bildverarbeitung 2018
- Beiträge
- Kamerabasierte Erfassung von Vitalparametern
- Präzise Vermessung von Zuckerrübenkeimlingen mit dem phenoTest
- Kalibrierfreie 3D-Rekonstruktion von gekrümmten Oberflächen mittels orthographischer Projektion unter Verwendung von Reflexionsmarkern
- Stochastische Texturerkennung zur Bildsegmentierung
- Automated discrimination of surface imperfections and adhered particles on customer-specific optical elements
- Deep-learned faces of pain and emotions: Elucidating the differences of facial expressions with the help of explainable AI methods
- Ein evolutionärer Ansatz für aufgabenspezifische MobileNet-Topologien
- Extended noise equalisation for image compression in microscopical applications
- Subtleties of extrinsic calibration of cameras with non-overlapping fields of view
- Bilderzeugung von virtuellen Szenen mittels vier- und sechseckbasierter oder wahlfreier Rasterung
