Ein evolutionärer Ansatz für aufgabenspezifische MobileNet-Topologien
-
Norbert Mitschke
Norbert Mitschke ist Mitarbeiter am Institut für Industrielle Informationstechnik (IIIT) des Karlsruher Instituts für Technologie (KIT) in der Forschungsgruppe von Prof. Heizmann. Hauptarbeitsgebiete: FPGA basierte Sichtprüfung und Bildverarbeitung
,
Michael Heizmann
Prof. Dr.-Ing. Michael Heizmann ist Institutsleiter am Institut für Industrielle Informationstechnik (IIIT) des Karlsruher Instituts für Technologie (KIT). Hauptarbeitsgebiete: Mess- und Automatisierungstechnik, Automatische Sichtprüfung und Bildverarbeitung, Bild- und Informationsfusion.
Dr. Klaus-Henning Noffz ist CEO des in Mannheim ansässigen Unternehmens Silicon Software. Entwicklungsschwerpunkte: FPGA-Hardware-Entwicklung und FPGA-Programmierung
Zusammenfassung
Infolge sinkender Hardwarepreise und der zunehmenden Automatisierung wird maschinelles Lernen für industrielle Anwendungen wie klassische Sichtprüfungsaufgaben immer interessanter. In diesem Artikel wird ein metaheuristischer Ansatz für die Suche nach einer allgemeinen MobileNet-Topologie nach Howard et al. [7] vorgestellt, der auf differentieller Evolution beruht. Dieser ist in der Lage, anhand eines gegebenen Datensatzes und ohne zusätzliches Vorwissen einen geeigneten Klassifikator zu entwerfen. Gleichzeitig wird durch die Wahl einer geeigneten Fitnessfunktion der Ressourcenbedarf der Inferenz begrenzt. Für typische industrielle Datensätze können neuronale Netze mit Genauigkeiten von über
Abstract
As a result of falling hardware prices and increasing automation, machine learning is becoming more and more interesting for industrial applications such as classic visual inspection tasks. This article presents a metaheuristic approach to the search for a general MobileNet topology according to Howard et al. [7] based on differential evolution, that is able to design a suitable classifier on the basis of a given data set and without additional prior knowledge. At the same time, the choice of a suitable fitness function determines the resource requirements of the inference. For typical industrial data sets, convolutional neural networks with accuracies of over
About the authors
Norbert Mitschke ist Mitarbeiter am Institut für Industrielle Informationstechnik (IIIT) des Karlsruher Instituts für Technologie (KIT) in der Forschungsgruppe von Prof. Heizmann. Hauptarbeitsgebiete: FPGA basierte Sichtprüfung und Bildverarbeitung
Prof. Dr.-Ing. Michael Heizmann ist Institutsleiter am Institut für Industrielle Informationstechnik (IIIT) des Karlsruher Instituts für Technologie (KIT). Hauptarbeitsgebiete: Mess- und Automatisierungstechnik, Automatische Sichtprüfung und Bildverarbeitung, Bild- und Informationsfusion.
Dr. Klaus-Henning Noffz ist CEO des in Mannheim ansässigen Unternehmens Silicon Software. Entwicklungsschwerpunkte: FPGA-Hardware-Entwicklung und FPGA-Programmierung
Literatur
1. Deutsche Arbeitsgemeinschaft für Mustererkennung: Weakly Supervised Learning for Industrial Optical Inspection. https://resources.mpi-inf.mpg.de/conference/dagm/2007/prizes.html#industry. Version: 2007.Search in Google Scholar
2. Du, K.-L., Swamy, M.: Search and Optimization by Metaheuristics. Springer, 2016.10.1007/978-3-319-41192-7Search in Google Scholar
3. Floreano, D., Dürr, P., Mattiussi, C.: Neuroevolution: from Architectures to Learning. Evolutionary Intelligence 1 (2008), Nr. 1, S. 47–62. DOI: 10.1007/s12065-007-0002-4. ISSN 1864–5917.Search in Google Scholar
4. Gan, J., Li, Q., Wang, J., Yu, H.: A Hierarchical Extractor-Based Visual Rail Surface Inspection System. IEEE Sensors Journal 17 (2017), S. 7935–7944.10.1109/JSEN.2017.2761858Search in Google Scholar
5. Guo, P., Ma, H., Chen, R., Li, P., Xie, S., Wang, D.: FBNA: A Fully Binarized Neural Network Accelerator. In: 2018 28th International Conference on Field Programmable Logic and Applications (FPL) IEEE, 2018, S. 51–513.10.1109/FPL.2018.00016Search in Google Scholar
6. Holland, J. H.: Adaptation in Natural and Artificial Systems: an Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence. MIT press, 1992.10.7551/mitpress/1090.001.0001Search in Google Scholar
7. Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., Andreetto, M., Adam, H.: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications. arXiv preprint arXiv:1704.04861 (2017).Search in Google Scholar
8. Krizhevsky, A., Hinton, G.: Learning Multiple Layers of Features from Tiny Images, (2009).Search in Google Scholar
9. Krizhevsky, A., Sutskever, I., Hinton, G. E.: Imagenet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems, 2012, S. 1097–1105.Search in Google Scholar
10. Kuo, R., Zulvia, F. E.: The Gradient Evolution Algorithm: A new Metaheuristic. Information Sciences 316 (2015), S. 246–265.10.1016/j.ins.2015.04.031Search in Google Scholar
11. LeCun, Y., Cortes, C., Burges, C.: MNIST Handwritten Digit Database. AT&T Labs 2 (2010) [Online]. Available: http://yann.lecun.com/exdb/mnist.Search in Google Scholar
12. Leung, F. H.-F., Lam, H.-K., Ling, S.-H., Tam, P. K.-S.: Tuning of the Structure and Parameters of a Neural Network Using an Improved Genetic Algorithm. IEEE Transactions on Neural Networks 14 (2003), Nr. 1, S. 79–88.10.1109/TNN.2002.804317Search in Google Scholar PubMed
13. Luo, C., Wang, Y., Cao, W., Leong, P. H., Wang, L.: RNA: An Accurate Residual Network Accelerator for Quantized and Reconstructed Deep Neural Networks. In: 2018 28th International Conference on Field Programmable Logic and Applications (FPL) IEEE, 2018, S. 60–603.10.1109/FPL.2018.00018Search in Google Scholar
14. Mery, D., Riffo, V., Zscherpel, U., Mondragón, G., Lillo, I., Zuccar, I., Lobel, H., Carrasco, M.: GDXray: The Database of X-ray Images for Nondestructive Testing. Journal of Nondestructive Evaluation 34 (2015), Nr. 4, S. 42.10.1007/s10921-015-0315-7Search in Google Scholar
15. Mitschke, N., Heizmann, M., Noffz, K.-H., Wittmann, R.: Ein evolutionärer Ansatz für die automatische Ermittlung der Topologie neuronaler Netze. In: Forum Bildverarbeitung 2018, 2018, S. 185–196.Search in Google Scholar
16. Mitschke, N., Heizmann, M., Noffz, K.-H., Wittmann, R.: Gradient Based Evolution to Optimize the Structure of Convolutional Neural Networks. In: 2018 25th IEEE International Conference on Image Processing (ICIP) IEEE, 2018, S. 3438–3442.10.1109/ICIP.2018.8451394Search in Google Scholar
17. Netzer, Y., Wang, T., Coates, A., Bissacco, A., Wu, B., Ng, A. Y.: Reading Digits in Natural Images with Unsupervised Feature Learning. In: NIPS Workshop on Deep Learning and Unsupervised Feature Learning Bd. 2011, 2011, S. 5.Search in Google Scholar
18. Ren, R., Hung, T., Tan, K. C.: A Generic Deep-Learning-based Approach for Automated Surface Inspection. IEEE Transactions on Cybernetics (2017).10.1109/TCYB.2017.2668395Search in Google Scholar PubMed
19. Salomon, R.: Evolutionary Algorithms and Gradient Search: Similarities and Differences. IEEE Transactions on Evolutionary Computation 2 (1998), Nr. 2, S. 45–55.10.1109/4235.728207Search in Google Scholar
20. Song, K., Hu, S., Yan, Y.: Automatic Recognition of Surface Defects on Hot-Rolled Steel Strip using Scattering Convolution Network. Journal of Computational Information Systems 10 (2014), Nr. 7, S. 3049–3055.Search in Google Scholar
21. Stanley, K. O., Miikkulainen, R.: Evolving Neural Networks through Augmenting Topologies. Evolutionary Computation 10 (2002), Nr. 2, pp. 99–127.10.1162/106365602320169811Search in Google Scholar PubMed
22. Xiao, H., Rasul, K., Vollgraf, R.: Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms. arXiv preprint arXiv:1708.07747 (2017).Search in Google Scholar
23. Zhang, C., Wu, D., Sun, J., Sun, G., Luo, G., Cong, J.: Energy-Efficient CNN Implementation on a Deeply Pipelined FPGA Cluster. In: Proceedings of the 2016 International Symposium on Low Power Electronics and Design. ACM (ISLPED ’16). ISBN 978-1-4503-4185-1, S. 326–331.Search in Google Scholar
24. Zoph, B., Le, Q. V.: Neural Architecture Search with Reinforcement Learning. arXiv preprint arXiv:1611.01578 (2016).Search in Google Scholar
© 2019 Walter de Gruyter GmbH, Berlin/Boston
Articles in the same Issue
- Frontmatter
- Editorial
- Forum Bildverarbeitung 2018
- Beiträge
- Kamerabasierte Erfassung von Vitalparametern
- Präzise Vermessung von Zuckerrübenkeimlingen mit dem phenoTest
- Kalibrierfreie 3D-Rekonstruktion von gekrümmten Oberflächen mittels orthographischer Projektion unter Verwendung von Reflexionsmarkern
- Stochastische Texturerkennung zur Bildsegmentierung
- Automated discrimination of surface imperfections and adhered particles on customer-specific optical elements
- Deep-learned faces of pain and emotions: Elucidating the differences of facial expressions with the help of explainable AI methods
- Ein evolutionärer Ansatz für aufgabenspezifische MobileNet-Topologien
- Extended noise equalisation for image compression in microscopical applications
- Subtleties of extrinsic calibration of cameras with non-overlapping fields of view
- Bilderzeugung von virtuellen Szenen mittels vier- und sechseckbasierter oder wahlfreier Rasterung
Articles in the same Issue
- Frontmatter
- Editorial
- Forum Bildverarbeitung 2018
- Beiträge
- Kamerabasierte Erfassung von Vitalparametern
- Präzise Vermessung von Zuckerrübenkeimlingen mit dem phenoTest
- Kalibrierfreie 3D-Rekonstruktion von gekrümmten Oberflächen mittels orthographischer Projektion unter Verwendung von Reflexionsmarkern
- Stochastische Texturerkennung zur Bildsegmentierung
- Automated discrimination of surface imperfections and adhered particles on customer-specific optical elements
- Deep-learned faces of pain and emotions: Elucidating the differences of facial expressions with the help of explainable AI methods
- Ein evolutionärer Ansatz für aufgabenspezifische MobileNet-Topologien
- Extended noise equalisation for image compression in microscopical applications
- Subtleties of extrinsic calibration of cameras with non-overlapping fields of view
- Bilderzeugung von virtuellen Szenen mittels vier- und sechseckbasierter oder wahlfreier Rasterung
