Nutzer-basierte Evaluierung der Google Knowledge Panel-Funktion: Wissensrepräsentation innerhalb eines Information Retrieval Systems

Rosa Entezari; Katrin Scheibe

doi:10.1515/iwp-2023-2042

Article

Nutzer-basierte Evaluierung der Google Knowledge Panel-Funktion

Wissensrepräsentation innerhalb eines Information Retrieval Systems

Rosa Entezari
Rosa Entezari, B.A., M.A.
and Katrin Scheibe
Katrin Scheibe, B.A., M.A.

Published/Copyright: February 15, 2024

Published by

Become an author with De Gruyter Brill

Author Information Explore this Subject

From the journal Information – Wissenschaft & Praxis Volume 75 Issue 1

Zusammenfassung

Google Knowledge Panel sind Informationsfelder, die in der Suchmaschine Google Ergebnisse zu einer Suchanfrage mittels Informationen aus dem Google Knowledge Graphen gebündelt wiedergeben. Diese Funktion wird in der Regel bei Fragen oder Suchen nach Entitäten angezeigt und soll ermöglichen, relevante Informationen einfacher und schneller zu finden. Welche Arten von Google Knowledge Panels gibt es? Wie werden diese Funktion und die präsentierten Informationen (Inhalte) von den Nutzenden wahrgenommen? In dieser Studie wird das Google Knowledge Panel hinsichtlich der Systemqualität und der inhaltlichen Qualität aus Sicht des Nutzenden quantitativ evaluiert. Anhand des Information Service Evaluation (ISE) Modells wird ein auf das Google Knowledge Panel angepasstes Modell erarbeitet, das als theoretische Grundlage für die Entwicklung einer Umfrage dient. Die Ergebnisse der Umfrage mit 133 Teilnehmenden zeigen, dass die Erwartungen an ein optimales Informationsfeld innerhalb eines Information Retrieval Systems sich meist mit den Erfahrungen in Bezug auf das Google Knowledge Panel decken. In den folgenden Punkten erfüllt das Google Knowledge Panel nicht die Erwartungen: Glaubhaftigkeit, Vertrauen, Aktualität und Objektivität. Weitere Untersuchungen sind erforderlich, um den Grund für diese Differenzen zu finden und um genauere Vorschläge machen zu können, anhand derer das Google Knowledge Panel an die Bedürfnisse der Nutzenden angepasst werden kann.

Abstract

Google Knowledge Panels are information boxes in Google that display summarized information regarding a made search request in the search results, using information from the Google Knowledge Graph. This feature is usually displayed for questions or searches for entities and is intended to allow users to find relevant information more easily and quickly. What are the different types of Google Knowledge Panels? How is this function and its content perceived by users? In this study, the Google Knowledge Panel is evaluated in terms of system quality and content quality from the user’s perspective. The Information Service Evaluation (ISE) model was adapted to match the Google Knowledge Panel and serves as a theoretical basis for the development of a survey. Results of the survey with 133 participants show that the users’ expectations for an optimal information field within an information retrieval system mostly coincide with the experiences made regarding the Google Knowledge Panel. The Google Knowledge Panel does not meet the expectations of users for the following aspects: credibility, trust, timeliness, and objectivity. Further research is needed to find appropriate reasoning for the experienced differences and to make suitable suggestions to adapt the Google Knowledge Panel to the users’ needs.

Résumé

Les panneaux de connaissances Google sont des champs d’information qui, au sein du moteur de recherche Google, présentent de manière groupée les résultats d’une requête de recherche au moyen d’informations issues du Google Knowledge Graphen. Cette fonction est généralement affichée lors de questions ou de recherches d’entités et doit permettre aux utilisateurs de trouver plus rapidement des informations pertinentes. Quels sont les différents types de Google Knowledge Panels ? Comment cette fonction et les informations (contenus) présentées sont-elles perçues par les utilisateurs? Dans cette étude, le Knowledge Panel de Google est évalué quantitativement en ce qui concerne la qualité du système et la qualité du contenu du point de vue de l’utilisateur. Un modèle adapté au Knowledge Panel de Google est élaboré à l’aide du modèle Information Service Evaluation (ISE), qui sert de base théorique pour le développement d’une enquête. Les résultats de l’enquête menée auprès de 133 participants montrent que les attentes des utilisateurs vis-à-vis d’un champ d’information optimal au sein d’un système de recherche d’informations coïncident généralement avec les expériences faites en rapport avec le Knowledge Panel de Google. Le Knowledge Panel de Google ne répond pas aux attentes des utilisateurs sur les points suivants: crédibilité, confiance, actualité et objectivité. Des recherches supplémentaires sont nécessaires pour trouver la raison de ces différences et pour pouvoir faire des propositions plus précises afin d’adapter le Google Knowledge Panel aux besoins des utilisateurs.

Schlagworte: Google; Systemqualität; Knowledge Graph; Evaluation; Informationssystem

Keywords: Google; System Quality; Knowledge Graph; Evaluation; Information System

Mots-clés: Google; Qualité du Système; Knowledge Graph; Évaluation; Système d’Information

Über die Autoren

Rosa Entezari B.A., M.A.

Rosa Entezari, B.A., M.A.

Katrin Scheibe B.A., M.A.

Katrin Scheibe, B.A., M.A.

Literatur

Aliyu, F. M., & Yahaya, Y. I. (2021). An Investigation of the Accuracy of Knowledge Graph-base Search Engines: Google Knowledge Graph, Bing Satori and Wolfram Alpha. International Journal of Scientific & Engineering Research, 12(1), 11–15.Search in Google Scholar

Amerland, D. (2013). Google Semantic Search: Search Engine Optimization (SEO) Techniques That Get Your Company More Traffic, Increase Brand Impact, and Amplify Your Online Presence. Que eBooks.Search in Google Scholar

Assaf, A. E., Atemezing, G. A., Troncy, R., & Cabrio, E. (2014). What Are the Important Properties of an Entity? Comparing Users and Knowledge Graph Point of View. In V. Presutti, E. Blomqvist, R. Troncy, H. Sack, I. Papadakis, & A. Tordai (Eds.), Lecture Notes in Computer Science: Vol. 8798. The Semantic Web: ESWC 2014 Satellite Events (pp. 190–194). Springer. https://doi.org/10.1007/978-3-319-11955-7_16 10.1007/978-3-319-11955-7_16Search in Google Scholar

Chah, N. (2018). OK Google, What Is Your Ontology? Or: Exploring Freebase Classification to Understand Google’s Knowledge Graph. arXiv (Cornell University). https://doi.org/10.48550/arXiv.1805.03885 Search in Google Scholar

DGTLS GmbH (2021, 02. November). Die „Ähnliche Fragen“-Box in der Google-Suche. DGTLS. Abgerufen am 04. Dezember 2022 von https://www.dgtls.com/de/google-aehnliche-fragen Search in Google Scholar

Fensel, D., Şimşek, U., Angele, K., Huaman, E., Kärle, E., Panasiuk, O., Toma, I., Umbrich, J., & Wahler, A. (2020). Knowledge Graphs: Methodology, Tools and Selected Use Cases. Springer.10.1007/978-3-030-37439-6Search in Google Scholar

Fons, T. (2016). Improving Web Visibility: Into the Hands of Readers. Library Technology Reports, 52(5), 1. https://www.journals.ala.org/index.php/ltr/issue/download/555/310 Search in Google Scholar

Google Blog–News from Google (2005, 10. November). Personalized Search Graduates from Google Labs. Abgerufen am 18. März 2023 von https://googlepress.blogspot.com/2005/11/personalizedsearch-graduates-from_10.htmlSearch in Google Scholar

Google Support–Google Infobox-Hilfe (o. D. a). Funktionsweise des Knowledge Graph von Google. Abgerufen am 6. Dezember 2022 von https://support.google.com/knowledgepanel/answer/9787176?hl=deSearch in Google Scholar

Google Support–Google Infobox-Hilfe (o. D. b). Knowledge Panels. Abgerufen am 4. Dezember 2022 von https://support.google.com/knowledgepanel/answer/9163198?hl=deSearch in Google Scholar

Google Support–Google Suche-Hilfe (o. D.). So funktionieren hervorgehobene Snippets von Google. Abgerufen am 3. April 2023 von https://support.google.com/websearch/answer/9351707?hl=de Search in Google Scholar

Kejriwal, M. (2019). Domain-Specific Knowledge Graph Construction. Nature.10.1007/978-3-030-12375-8Search in Google Scholar

Kopp, O. (2019, 6. September). Google Knowledge Graph einfach erklärt: Definition & FAQ. Aufgesang. Abgerufen am 6. Dezember 2022 von https://www.sem-deutschland.de/seo-glossar/knowledege-graph/Search in Google Scholar

Kopp, O. (2022, 22. Mai). Wie erstellt Google Knowledge Panel & Knowledge Cards? Aufgesang. Abgerufen am 7. Dezember 2022 von https://www.sem-deutschland.de/blog/knowledge-panel-knowledge-cards/ Search in Google Scholar

Likert, R. (1932). A technique for the measurement of attitudes. Archives de Psychologie, 140, 5–55.Search in Google Scholar

Masullo, G. M., Wilhelm, C., Lee, T., Gonçalves, J. G., Riedl, M. J., & Stroud, N. J. (2022). Signaling news outlet trust in a Google Knowledge Panel: A conjoint experiment in Brazil, Germany, and the United States. New Media & Society, online first. https://doi.org/10.1177/14614448221135860 10.1177/14614448221135860Search in Google Scholar

Mitra, R., Jain, R., Veerubhotla, A. S., & Gupta, M. (2021, August). Zero-shot Multi-lingual Interrogative Question Generation for „People Also Ask“ at Bing. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining (pp. 3414–3422). ACM. https://doi.org/10.1145/3447548.3469403 10.1145/3447548.3469403Search in Google Scholar

Nigam, V. V., Paul, S., Agrawal, A. P., & Bansal, R. (2020, January). A Review Paper on the Application of Knowledge Graph on Various Service Providing Platforms. In 2020 10th International Conference on Cloud Computing, Data Science & Engineering (Confluence) (pp. 716–720). IEEE. https://doi.org/10.1109/confluence47617.2020.905829810.1109/Confluence47617.2020.9058298Search in Google Scholar

Oliveira, B. E. É. R. (2021). Web Search Engines – A Study on the Evolution of User Interfaces [Dissertation]. Universität Porto.Search in Google Scholar

Parasuraman, A., Zeithaml, V. A., & Berry, L. L. (1988). SERVQUAL: A Multiple-item Scale for Measuring Consumer Perceptions of Service Quality. Journal of Retailing, 64(1), 12–40. http://ci.nii.ac.jp/naid/10011053911Search in Google Scholar

Pitt, L., Watson, R. T., & Kavan, C. B. (1995). Service Quality: A Measure of Information Systems Effectiveness. Management Information Systems Quarterly, 19(2), 173. https://doi.org/10.2307/24968710.2307/249687Search in Google Scholar

Pothirattanachaikul, S., Yamamoto, T., Yamamoto, Y., & Yoshikawa, M. (2020). Analyzing the Effects of „People also ask“ on Search Behaviors and Beliefs. In Proceedings of the 31st ACM Conference on Hypertext and Social Media (pp. 101–110). https://doi.org/10.1145/3372923.340478610.1145/3372923.3404786Search in Google Scholar

Schöttler, M. (2016, 1. Juni). Knowledge: Graph, Panel und Card in den SERPs. SEO-Portal Onlinemagazin für Suchmaschinenoptimierung. Abgerufen am 24. März 2023 von https://seo-portal.de/knowledgegraph-panel-und-card-in-den-serps/Search in Google Scholar

Schultheiß, S., Sünkler, S., & Lewandowski, D. (2018). We Still Trust in Google, But Less Than 10 Years Ago: An Eye-tracking Study. Information Research, 23(3), paper 799.Search in Google Scholar

Schumann, L., & Stock, W. G. (2014a). The Information Service Evaluation (ISE) Model. Webology, 11(1). https://arxiv.org/pdf/1407.4831Search in Google Scholar

Schumann, L., & Stock, W. G. (2014b). Ein umfassendes ganzheitliches Modell für Evaluation und Akzeptanzanalysen von Informationsdiensten: Das Information Service Evaluation (ISE) Modell. Information. Wissenschaft & Praxis, 65(4-5), 239–246. https://doi.org/10.1515/iwp-2014-004310.1515/iwp-2014-0043Search in Google Scholar

Sikos, L. (2015). Mastering Structured data on the Semantic Web: From HTML5 Microdata to Linked Open Data. Apress.10.1007/978-1-4842-1049-9Search in Google Scholar

Statista (2023, 24. Februar). Global Search Engine Desktop Market Share 2023. Statista. Abgerufen am 18. März 2023 von https://www.statista.com/statistics/216573/worldwide-market-share-of-search-engines/ Search in Google Scholar

Steiner, T., Verborgh, R., Troncy, R., Gabarró, J., & Van De Walle, R. (2012). Adding Realtime Coverage to the Google Knowledge Graph. In B. Glimm & D. Huyhn (Eds.), 11th International Semantic Web Conference Vol. 914 (pp. 65–68). CEUR-WS. http://ceur-ws.org/Vol-914/paper_2.pdfSearch in Google Scholar

Strzelecki, A., & Rutecka, P. (2020). Direct Answers in Google Search Results. IEEE Access, 8, 103642–103654. https://doi.org/10.1109/access.2020.2999160 10.1109/ACCESS.2020.2999160Search in Google Scholar

Strzelecki, A., & Rutecka, P. (2021). Featured Snippets Comparison in Six European Languages. In Á. Rocha, J. L. Reis, M. K. Peter, R. Cayolla, S. Loueiro, & Z. Bogdanović (Eds.), Marketing and Smart Technologies (pp. 687–697). Springer.10.1007/978-981-33-4183-8_55Search in Google Scholar

Sullivan, D. (2020, 20. Mai). A Reintroduction to our Knowledge Graph and Knowledge Panels. Google. Abgerufen am 21. März 2023 von https://blog.google/products/search/about-knowledge-graph-and-knowledge-panels/ Search in Google Scholar

Uyar, A., & Aliyu, F. M. (2015). Evaluating Search Features of Google Knowledge Graph and Bing Satori. Online Information Review, 39(2), 197–213. https://doi.org/10.1108/oir-10-2014-0257 10.1108/OIR-10-2014-0257Search in Google Scholar

Yanduu (2021, 10. August). Was sind Knowledge-Panel und Knowledge-Cards?. Abgerufen am 23. März 2023 von https://www.yanduu.de/was-sind-knowlege-panel-und-knowlege-cards/ Search in Google Scholar

Zou, X. (2020). A Survey on Application of Knowledge Graph. Journal of Physics, 1487(1), Artikel 012016. https://doi.org/10.1088/1742-6596/1487/1/01201610.1088/1742-6596/1487/1/012016Search in Google Scholar

Online erschienen: 2024-02-15

Erschienen im Druck: 2024-02-29

You are currently not able to access this content.

Articles in the same Issue

https://doi.org/10.1515/iwp-2023-2042

Keywords for this article

Google; System Quality; Knowledge Graph; Evaluation; Information System