Zur approximativen Maximum-Likelihood-Schätzung dynamischer Multi-Modelle vom Typ Takagi-Sugeno: Methodik und Anwendung auf einen Servo-Pneumatikantrieb

Andreas Kroll; Jana Fischer

doi:10.1515/auto-2020-0142

Artikel

Zur approximativen Maximum-Likelihood-Schätzung dynamischer Multi-Modelle vom Typ Takagi-Sugeno: Methodik und Anwendung auf einen Servo-Pneumatikantrieb

Andreas Kroll

Univ.-Prof. Dr.-Ing. Andreas Kroll ist Leiter des Fachgebiets Mess- und Regelungstechnik der Universität Kassel. Seine Forschungsschwerpunkte sind nichtlineare Identifikations- und Regelungsmethoden, Computational Intelligence, Fernmesstechnik und Sensordatenfusion.
und Jana Fischer

Jana Fischer war Mitarbeitende am Fachgebiet Mess- und Regelungstechnik. Ihre Forschungsinteressen liegen im Bereich des Maschinellen Lernens.

Veröffentlicht/Copyright: 1. Oktober 2021

Veröffentlicht von

Veröffentlichen auch Sie bei De Gruyter Brill

Manuskript einreichen Informationen für Autor*innen Erkunden Sie dieses Fachgebiet

Aus der Zeitschrift at - Automatisierungstechnik Band 69 Heft 10

Zusammenfassung

Dieser Beitrag adressiert die Identifikation von Takagi-Sugeno-Modellen für nichtlineare stochastische dynamische Systeme. Ist Wissen über die stochastischen Eigenschaften eines dynamischen Prozesses (bspw. bzgl. Verteilungsfunktion, Korreliertheit) verfügbar, so kann dies zur Verbesserung der Modellparameterschätzung genutzt werden. Dabei trifft die oft gemachte Annahme unabhängig und identisch normalverteilter Zufallsgrößen bei technischen Systemen häufig nicht zu. Dies ist bspw. bei mechatronischen Antrieben in Folge von Reibung oft der Fall. Im Beitrag werden deshalb die Dichtefunktionen der Zufallsgrößen als Gaußsche Mischmodelle mittels eines Multistart-Expectation-Maximization-Algorithmus geschätzt. Da die Residualdichtefunktionen zu Beginn der Identifikation nicht verfügbar sind, werden diese aus der Streuung von Wiederholexperimenten approximativ ermittelt und zur approximativen Maximum-Likelihood-Schätzung von Takagi-Sugeno-Modellen genutzt. Wegen der ausgeprägten Multimodalität der resultierenden Likelihood-Funktion wird dazu Partikelschwarm-Optimierung eingesetzt. Die Vorgehensweise wird an einem industriellen servo-pneumatischen Linearantrieb mit reibungsbedingten Unsicherheiten demonstriert. Dabei lässt sich der mittlere Validierungsfehler um 9 % gegenüber einer Least-Squares-Schätzung reduzieren.

Abstract

This contribution addresses the identification of Takagi-Sugeno models for nonlinear stochastic dynamical systems. In case knowledge about the stochastic properties of a dynamic process is available, it can be exploited to improve the estimation of the model parameters. In this regard, it has to be acknowledged that the common assumption of independent and identically distributed random variables seldom holds for technical systems. Therefore, in this contribution the corresponding probability density functions will be estimated as Gaussian mixture models using a multi-start expectation maximization algorithm. As the residual density functions required for maximum likelihood estimation of Takagi-Sugeno models are not available at the beginning of the identification procedure, they are approximately estimated from the variation observed in repeated experiments with identical excitation signals. Particle swarm optimization is used for parameter estimation due to the non-convexity of the likelihood function. The proposed method is demonstrated for an industrial servo-pneumatic drive, which features uncertainties due to friction. It is shown that the mean validation error can be reduced by 9 % with the proposed method as compared with standard least squares estimation.

Schlagwörter: Takagi-Sugeno-Modelle; Maximum-Likelihood-Schätzung; nichtlineare Systemidentifikation; Gaußsche Mischmodelle; stochastische Systeme; Servo-Pneumatikantrieb

Keywords: Takagi-Sugeno models; maximum likelihood estimation; nonlinear system identification; Gaussian mixture models; stochastic systems; servo-pneumatic drive

Über die Autoren

Andreas Kroll

Univ.-Prof. Dr.-Ing. Andreas Kroll ist Leiter des Fachgebiets Mess- und Regelungstechnik der Universität Kassel. Seine Forschungsschwerpunkte sind nichtlineare Identifikations- und Regelungsmethoden, Computational Intelligence, Fernmesstechnik und Sensordatenfusion.

Jana Fischer

Jana Fischer war Mitarbeitende am Fachgebiet Mess- und Regelungstechnik. Ihre Forschungsinteressen liegen im Bereich des Maschinellen Lernens.

Danksagung

Die Autoren danken Herrn Niklas Tecklenburg für seine Untersuchungen zur Hyperparametrierung der PSO für TS-Probleme und Herrn Axel Dürrbaum für den LaTeX-Schriftsatz. Gedankt sei zudem den Gutachtern für die konstruktiven Hinweise, die zur Verbesserung des Beitrags genutzt werden konnten.

Literatur

1. Angelov, P., Gu, X., Kangin, D., Principe, J.: Empirical data analysis: A new tool for data analytics. In: 2016 IEEE International Conference on Systems, Man, and Cybernetics (SMC). Budapest, Hungary, 2016, S. 52–59.10.1109/SMC.2016.7844219Suche in Google Scholar

2. Arı, Ç., Aksoy, S., Arıkan, O.: Maximum likelihood estimation of Gaussian mixture models using stochastic search. Pattern Recognition 45 (2012), Nr. 7, S. 2804–2816.10.1016/j.patcog.2011.12.023Suche in Google Scholar

3. Babuška, Robert: Fuzzy Modeling for Control. Kluwer Academic Publishers, 1998.10.1007/978-94-011-4868-9Suche in Google Scholar

4. Bartz-Beielstein, Thomas: A survey of model-based methods for global optimization. In: Bioinspired Optimization Methods and Their Applications (2016), S. 1–18.Suche in Google Scholar

5. Bernd, T., Kroll, A., Schwarz, H.: LS-optimal fuzzy modelling and its application to pneumatic drives. In: European Control Conference (ECC), 1997, S. 1272–1277.10.23919/ECC.1997.7082275Suche in Google Scholar

6. Beyer, H.-G., Schwefel, H.-P.: Evolution strategies – A comprehensive introduction. Natural Computing 1 (2002), Nr. 1, S. 3–52.10.1023/A:1015059928466Suche in Google Scholar

7. Biernacki, C., Celeux, G., Govaert, G.: Choosing starting values for the EM algorithm for getting the highest likelihood in multivariate Gaussian mixture models. Computational Statistics & Data Analysis 41 (2003), Nr. 3-4, S. 561–575.10.1016/S0167-9473(02)00163-9Suche in Google Scholar

8. Bishop, C. M.: Pattern Recognition and Machine Learning. Springer, 2006.Suche in Google Scholar

9. Celeux, G., Chauveau, D., Diebolt, J.: Stochastic versions of the EM algorithm: an experimental study in the mixture case. Journal of Statistical Computation and Simulation 55 (1996), Nr. 4, S. 287–314.10.1080/00949659608811772Suche in Google Scholar

10. Celeux, G., Diebolt, J.: A stochastic approximation type EM algorithm for the mixture problem. Stochastics: An International Journal of Probability and Stochastic Processes 41 (1992), Nr. 1-2, S. 119–134.10.1080/17442509208833797Suche in Google Scholar

11. Costa, E. B. M., Serra, G. L. O.: Optimal recursive fuzzy model identification approach based on particle swarm optimization. In: 24th International Symposium on Industrial Electronics (ISIE), 2015, S. 100–105.10.1109/ISIE.2015.7281451Suche in Google Scholar

12. Dempster, A. P., Laird, N. M., Rubin, D. B.: Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society: Series B (Methodological) 39 (1977), Nr. 1, S. 1–22.10.1111/j.2517-6161.1977.tb01600.xSuche in Google Scholar

13. Fan, J., Qi, L., Xiu, D.: Quasi-Maximum Likelihood estimation of GARCH models with heavy-tailed likelihoods. Journal of Business & Economic Statistics 32 (2014), Nr. 2, S. 178–191.10.1080/07350015.2013.840239Suche in Google Scholar

14. Gendreau, M., Potvin, J.-Y. (Hrsg.): Handbook of Metaheuristics. Bd. 2. Springer, 2010.10.1007/978-1-4419-1665-5Suche in Google Scholar

15. Goodwin, G. C., Payne, R. L.: Dynamic System Identification: Experiment Design And Data Analysis. Academic Press, 1977.Suche in Google Scholar

16. Guo, W., Pan, T., Li, Z., Chen, S.: Batch process modeling by using temporal feature and Gaussian mixture model. Transactions of the Institute of Measurement and Control 42 (2020), Nr. 6, S. 1204–1214.10.1177/0142331219887827Suche in Google Scholar

17. Hansen, N.: The CMA evolution strategy: a comparing review. In: Lozano, J. A., Larranaga, P., Inza, I., Bengoetxea, E. (Hrsg.): Towards a New Evolutionary Computation. Springer, 2006 (Advances on Estimation of Distribution Algorithm), S. 75–102.10.1007/3-540-32494-1_4Suche in Google Scholar

18. Hong, S., Lee, H., Kim, E.: A new probabilistic fuzzy model: fuzzification–maximization (fm) approach. International Journal of Approximate Reasoning 50 (2009), Nr. 7, S. 1129–1147.10.1016/j.ijar.2009.05.004Suche in Google Scholar

19. Jin, X., Huang, B., Shook, D. S.: Multiple model LPV approach to nonlinear process identification with EM algorithm. Journal of Process Control 21 (2011), Nr. 1, S. 182–193.10.1016/j.jprocont.2010.11.008Suche in Google Scholar

20. Kang, D., Yoo, W., Won, S.: Multivariable TS fuzzy model identification based on mixture of Gaussians. In: 2007 International Conference on Control, Automation and Systems, 2007, S. 929–932.10.1109/ICCAS.2007.4407036Suche in Google Scholar

21. Kennedy, J., Eberhart, R.: Particle swarm optimization. In: Proceedings of ICNN’95-International Conference on Neural Networks Bd. 4, 1995, S. 1942–1948.10.1109/ICNN.1995.488968Suche in Google Scholar

22. Kroll, A.: On choosing the fuzziness parameter for identifying TS models with multidimensional membership functions. Journal of Artificial Intelligence and Soft Computing Research 1 (2011), Nr. 4, S. 283–300.Suche in Google Scholar

23. Kroll, A., Soldan, S.: On Data-driven Takagi-Sugeno Modelling of Heterogeneous Systems with Multidimensional Membership Functions. In: 18th World Congress of the International Federation of Automatic Control (IFAC). Milano, Italy, 28. Aug.–2. Sep. 2011, 14994–14999.10.3182/20110828-6-IT-1002.00266Suche in Google Scholar

24. Kroll, Andreas: Identification of functional fuzzy models using multidimensional reference fuzzy sets. Fuzzy Sets and Systems 80 (1996), Nr. 2, S. 149–158.10.1016/0165-0114(95)00140-9Suche in Google Scholar

25. Lan, J.: Gaussian mixture model based system identification and control, University of Florida, Diss., 2006.Suche in Google Scholar

26. Lee, T., Lee, S.: Normal mixture quasi-maximum likelihood estimator for GARCH models. Scandinavian Journal of Statistics 36 (2009), Nr. 1, S. 157–170.10.1111/j.1467-9469.2008.00624.xSuche in Google Scholar

27. Liu, Z., Li, H.-X.: A probabilistic fuzzy logic system for modeling and control. IEEE Transactions on Fuzzy Systems 13 (2005), Nr. 6, S. 848–859.10.1109/TFUZZ.2005.859326Suche in Google Scholar

28. Ljung, Lennart: System identification. In: Wiley Encyclopedia of Electrical and Electronics Engineering (1999), S. 1–19.10.1002/047134608X.W1046.pub2Suche in Google Scholar

29. Mader, W., Linke, Y., Mader, M., Sommerlade, L., Timmer, J., Schelter, B.: A numerically efficient implementation of the expectation maximization algorithm for state space models. Applied Mathematics and Computation 241 (2014), S. 222–232.10.1016/j.amc.2014.05.021Suche in Google Scholar

30. The Mathworks (Hrsg.): Global Optimization Toolbox: User’s Guide. Release R2019a. Natick, MA, USA: The Mathworks, 2019.Suche in Google Scholar

31. The Mathworks (Hrsg.): Statistics and Machine Learning Toolbox: User’s Guide. Release R2019a. Natick, MA, USA: The Mathworks, 2019.Suche in Google Scholar

32. McLachlan, G. J., Peel, D.: Finite Mixture Models. John Wiley & Sons, 2000.10.1002/0471721182Suche in Google Scholar

33. Melnykov, V., Melnykov, I.: Initializing the EM algorithm in Gaussian mixture models with an unknown number of components. Computational Statistics & Data Analysis 56 (2012), Nr. 6, S. 1381–1395.10.1016/j.csda.2011.11.002Suche in Google Scholar

34. Nelles, O.: Nonlinear System Identification: From Classical Approaches to Neural Networks and Fuzzy Models. 2. Auflage. Springer Science & Business Media, 2020.10.1007/978-3-030-47439-3Suche in Google Scholar

35. Ortiz, G. A.: Evolutionary Strategies (ES)-Toolbox. Online: https://de.mathworks.com/matlabcentral/fileexchange/35800-1-1-evolution-strategy-es, 2014. – Version 1.1 vom 20.11.2014.Suche in Google Scholar

36. Parzen, E.: On estimation of a probability density function and mode. The Annals of Mathematical Statistics 33 (1962), Nr. 3, S. 1065–1076.10.1214/aoms/1177704472Suche in Google Scholar

37. Pearson, K.: Mathematical contributions to the theory of evolution. II. Skew variation in homogeneous material. Proceedings of the Royal Society of London 57 (1985), Nr. 340-346, S. 257–260.10.1098/rspl.1894.0147Suche in Google Scholar

38. Pedersen, M. E. H.: Good parameters for particle swarm optimization. Hvass Lab., Copenhagen, Denmark, Tech. Rep. HL1001 (2010), S. 1551–3203.Suche in Google Scholar

39. Pedersen, M. E. H., Chipperfield, A. J.: Simplifying particle swarm optimization. Applied Soft Computing 10 (2010), Nr. 2, S. 618–628.10.1016/j.asoc.2009.08.029Suche in Google Scholar

40. R. Filho, O. D., de Oliveira Serra, G. L.: Instrumental variable based maximum likelihood evolving fuzzy algorithm for nonlinear system identification. In: 24th International Symposium on Industrial Electronics (ISIE), 2015, S. 83–88.Suche in Google Scholar

41. Rios, L. M., Sahinidis, N. V.: Derivative-free optimization: a review of algorithms and comparison of software implementations. Journal of Global Optimization 56 (2013), Nr. 3, S. 1247–1293.10.1007/s10898-012-9951-ySuche in Google Scholar

42. Schön, T. B., Wills, A., Ninness, B.: Maximum likelihood nonlinear system estimation. IFAC Proceedings Volumes 39 (2006), Nr. 1, S. 1003–1008.10.3182/20060329-3-AU-2901.00160Suche in Google Scholar

43. Silverman, B. W.: Density Estimation for Statistics and Data Analysis. Bd. 26. CRC Press, 1986.Suche in Google Scholar

44. Straumann, Daniel, Mikosch, Thomas u. a.: Quasi-Maximum-Likelihood estimation in conditionally heteroscedastic time series: a stochastic recurrence equations approach. The Annals of Statistics 34 (2006), Nr. 5, S. 2449–2495.10.1214/009053606000000803Suche in Google Scholar

45. Szynkiewicz, P.: Comparative study of PSO and CMA-ES algorithms on black-box optimization benchmarks. Journal of Telecommunications and Information Technology 4 (2018), S. 5–7.10.26636/jtit.2018.127418Suche in Google Scholar

46. Takagi, T., Sugeno, M.: Fuzzy identification of systems and its applications to modeling and control. IEEE Transactions on Systems, Man, and Cybernetics 15 (1985), Nr. 1, S. 116–132.10.1016/B978-1-4832-1450-4.50045-6Suche in Google Scholar

47. Ueda, N., Nakano, R., Ghahramani, Z., Hinton, G. E.: Split and merge EM algorithm for improving Gaussian mixture density estimates. Journal of VLSI Signal Processing Systems for Signal, Image and Video Technology 26 (2000), Nr. 1-2, S. 133–140.10.1109/NNSP.1998.710657Suche in Google Scholar

48. van den Berg, J., Kaymak, U., Almeida, R. J.: Conditional density estimation using probabilistic fuzzy systems. IEEE Transactions on Fuzzy Systems 21 (2012), Nr. 5, S. 869–882.10.1109/TFUZZ.2012.2235839Suche in Google Scholar

49. Waltman, L., Kaymak, U., van den Berg, J.: Maximum likelihood parameter estimation in probabilistic fuzzy classifiers. In: 14th International Conference on Fuzzy Systems FUZZ’ 05, 2005, S. 1098–1103.Suche in Google Scholar

50. Wang, Z., Ho, D. W. C., Liu, X.: A note on the robust stability of uncertain stochastic fuzzy systems with time-delays. IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans 34 (2004), Nr. 4, S. 570–576.10.1109/TSMCA.2004.826296Suche in Google Scholar

51. Ying, H.: Sufficient conditions on uniform approximation of multivariate functions by general Takagi-Sugeno fuzzy systems with linear rule consequent. IEEE Transactions on Systems, Man, and Cybernetics-Part A: Systems and Humans 28 (1998), Nr. 4, S. 515–520.10.1109/3468.686713Suche in Google Scholar

52. Ying, H., Chen, G.: Necessary conditions for some typical fuzzy systems as universal approximators. Automatica 33 (1997), Nr. 7, S. 1333–1338.10.1016/S0005-1098(97)00026-5Suche in Google Scholar

53. Zaidi, S.: System Identification of Stochastic Nonlinear Dynamic Systems Using Takagi-Sugeno Fuzzy Models. Dissertation. Kassel University Press, 2018. (Schriftenreihe Mess- und Regelungstechnik der Universität Kassel 9).Suche in Google Scholar

54. Zaidi, S., Kroll, A.: On Interval-valued-data Type-1 Takagi-Sugeno fuzzy systems for uncertain nonlinear dynamic system identification. at – Automatisierungstechnik 64 (2016), Nr. 6, S. 418–427.10.1515/auto-2016-0005Suche in Google Scholar

Erhalten: 2020-09-05

Angenommen: 2021-08-25

Online erschienen: 2021-10-01

Erschienen im Druck: 2021-10-26

Sie haben derzeit keinen Zugang zu diesem Inhalt.

Artikel in diesem Heft

https://doi.org/10.1515/auto-2020-0142

Schlagwörter für diesen Artikel

Takagi-Sugeno models; maximum likelihood estimation; nonlinear system identification; Gaussian mixture models; stochastic systems; servo-pneumatic drive