Home Mathematics MediaBrain: Annotating Videos based on Brain-Computer Interaction
Chapter
Licensed
Unlicensed Requires Authentication

MediaBrain: Annotating Videos based on Brain-Computer Interaction

  • Alireza Sahami Shirazi , Markus Funk , Florian Pfleiderer , Hendrik Glück and Albrecht Schmidt
Become an author with De Gruyter Brill
Explore this Subject How to publish with us
Mensch & Computer 2012
This chapter is in the book Mensch & Computer 2012

Abstract

Adding notes to time segments on a video timeline makes it easier to search, find, and playback important segments of the video. Various approaches have been explored to annotate videos (semi) automatically to summarize videos. In this research we investigate the feasibility of implicitly annotating videos based on brain signals retrieved from a Brain-Computer Interface (BCI) headset. The signals provided by the BCI can reveal different information such as brain activities, facial expressions, or the level of users' excitement. This information correlates with scenes the users watch in a video. Thus, it can be used for annotating a video and automatically generating a summary. To achieve the goal, an annotation tool called MediaBrain is developed and a user study is conducted. The result reveals that it is possible to annotate a video and select a set of highlights based on the excitement information.

Abstract

Adding notes to time segments on a video timeline makes it easier to search, find, and playback important segments of the video. Various approaches have been explored to annotate videos (semi) automatically to summarize videos. In this research we investigate the feasibility of implicitly annotating videos based on brain signals retrieved from a Brain-Computer Interface (BCI) headset. The signals provided by the BCI can reveal different information such as brain activities, facial expressions, or the level of users' excitement. This information correlates with scenes the users watch in a video. Thus, it can be used for annotating a video and automatically generating a summary. To achieve the goal, an annotation tool called MediaBrain is developed and a user study is conducted. The result reveals that it is possible to annotate a video and select a set of highlights based on the excitement information.

Chapters in this book

  1. Front Matter I
  2. Keynote & Eingeladener Vortrag
  3. Keynote & Eingeladener Vortrag
  4. Total Recall — wie das Internet unser Denken verändern könnte1 1
  5. Keynote & Eingeladener Vortrag
  6. Designing Smart Cities: Urbane Räume als Orte vernetzter Arbeitsund Lebenswelten 7
  7. Langbeiträge: Suchen und Wissen
  8. Langbeiträge: Suchen und Wissen
  9. Nutzerzentrierte Entwicklung einer Suche für den Life-Science-Bereich 11
  10. Langbeiträge: Suchen und Wissen
  11. Impact of Gender and Age on performing Search Tasks Online 23
  12. Langbeiträge: Suchen und Wissen
  13. Prototyping-based Usability-oriented Knowledge Systems Engineering 33
  14. Langbeiträge: Interaktive Oberflächen I
  15. Langbeiträge: Interaktive Oberflächen I
  16. Ein Multi-Focus-View Konzept im Kontext der Verkehrsleitzentrale 43
  17. Langbeiträge: Interaktive Oberflächen I
  18. Enhancing Interactive Tabletop Workspaces with Tangible Contexts 53
  19. Langbeiträge: Interaktive Oberflächen I
  20. Vispol: An Interactive Tabletop Graph Visualization for the Police 63
  21. Langbeiträge: Interaktive Oberflächen II
  22. Langbeiträge: Interaktive Oberflächen II
  23. A Comparison of Spatial Grouping Techniques on Interactive Surfaces 73
  24. Langbeiträge: Interaktive Oberflächen II
  25. Halbautomatische Ausrichtung für Gruppenarbeit an Multitouch-Tischen 83
  26. Langbeiträge: Interaktive Oberflächen II
  27. Migration und Anpassung von Benutzeroberflächen für Touchscreens 93
  28. Langbeiträge: Soziale Kommunikation
  29. Langbeiträge: Soziale Kommunikation
  30. Analyse sozialer Beziehungen anhand nonverbaler Signale im IM-Chat 103
  31. Langbeiträge: Soziale Kommunikation
  32. Gemeinsam einig: Partizipation in Gruppenempfehlungssystemen 113
  33. Langbeiträge: Webseitenanalyse
  34. Langbeiträge: Webseitenanalyse
  35. Das Zusammenspiel von Website-Inhalten, Usability und Ästhetik 123
  36. Langbeiträge: Webseitenanalyse
  37. IA von Websites: asynchrone Remote-Tests und Laborstudien im Vergleich 133
  38. Langbeiträge: Webseitenanalyse
  39. Zusammenhang zwischen Net Promotor Score und User Experience 143
  40. Langbeiträge: Navigation
  41. Langbeiträge: Navigation
  42. AmbiGlasses — Information in the Periphery of the Visual Field 153
  43. Langbeiträge: Navigation
  44. Einflussfaktoren für eine situationsgerechte Navigationsunterstützung im Fahrzeug 163
  45. Langbeiträge: Virtuelle Welten
  46. Langbeiträge: Virtuelle Welten
  47. Towards Bimanual Control for Virtual Sculpting 173
  48. Langbeiträge: Virtuelle Welten
  49. Barrieren bei der Interaktion mit Virtual Reality Systemen 183
  50. Langbeiträge: Virtuelle Welten
  51. Soziale Umgebung Online-Welt — Gestaltungsfaktoren virtueller Räume 193
  52. Langbeiträge: Design und Kreativität
  53. Langbeiträge: Design und Kreativität
  54. KreativBarometer: Disclosing the dynamics of creativity climates 203
  55. Langbeiträge: Design und Kreativität
  56. Über die Synthese der MCI basierend auf dem Ursprung des Designs 213
  57. Langbeiträge: Design und Kreativität
  58. Erfassung von Attributionsstilen in der MCI — eine empirische Annäherung 223
  59. Langbeiträge: Barrierefreiheit
  60. Langbeiträge: Barrierefreiheit
  61. Generierung natürlichsprachlicher Beschreibungen für Sparklines 233
  62. Langbeiträge: Mediennutzung
  63. Langbeiträge: Mediennutzung
  64. Das computerbezogene Selbstkonzept: Eine gender-sensitive Studie 243
  65. Langbeiträge: Mediennutzung
  66. Flexible Mediennutzung durch die Integration von Geräten und Diensten 253
  67. Langbeiträge: Videos und Interaktion
  68. Langbeiträge: Videos und Interaktion
  69. MediaBrain: Annotating Videos based on Brain-Computer Interaction 263
  70. Langbeiträge: Videos und Interaktion
  71. VidPass — Passwörter in Raum und Zeit. Zur Usability von Videopasswörtern 273
  72. Langbeiträge: Videos und Interaktion
  73. A Zooming Concept for an Interactive Non-linear Video Authoring Software 283
  74. Langbeiträge: Interaktion in dreidimensionalen Räumen
  75. Langbeiträge: Interaktion in dreidimensionalen Räumen
  76. 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware 293
  77. Langbeiträge: Interaktion in dreidimensionalen Räumen
  78. Investigating Freehand Pan and Zoom 303
  79. Langbeiträge: Interaktion in dreidimensionalen Räumen
  80. Eine Variante von Fitts' Gesetz zum Vergleich von 2D- und 3D-Interaktion 313
  81. Kurzbeiträge & Poster 323
  82. Back Matter 395
https://doi.org/10.1524/9783486718782.263

Chapters in this book

  1. Front Matter I
  2. Keynote & Eingeladener Vortrag
  3. Keynote & Eingeladener Vortrag
  4. Total Recall — wie das Internet unser Denken verändern könnte1 1
  5. Keynote & Eingeladener Vortrag
  6. Designing Smart Cities: Urbane Räume als Orte vernetzter Arbeitsund Lebenswelten 7
  7. Langbeiträge: Suchen und Wissen
  8. Langbeiträge: Suchen und Wissen
  9. Nutzerzentrierte Entwicklung einer Suche für den Life-Science-Bereich 11
  10. Langbeiträge: Suchen und Wissen
  11. Impact of Gender and Age on performing Search Tasks Online 23
  12. Langbeiträge: Suchen und Wissen
  13. Prototyping-based Usability-oriented Knowledge Systems Engineering 33
  14. Langbeiträge: Interaktive Oberflächen I
  15. Langbeiträge: Interaktive Oberflächen I
  16. Ein Multi-Focus-View Konzept im Kontext der Verkehrsleitzentrale 43
  17. Langbeiträge: Interaktive Oberflächen I
  18. Enhancing Interactive Tabletop Workspaces with Tangible Contexts 53
  19. Langbeiträge: Interaktive Oberflächen I
  20. Vispol: An Interactive Tabletop Graph Visualization for the Police 63
  21. Langbeiträge: Interaktive Oberflächen II
  22. Langbeiträge: Interaktive Oberflächen II
  23. A Comparison of Spatial Grouping Techniques on Interactive Surfaces 73
  24. Langbeiträge: Interaktive Oberflächen II
  25. Halbautomatische Ausrichtung für Gruppenarbeit an Multitouch-Tischen 83
  26. Langbeiträge: Interaktive Oberflächen II
  27. Migration und Anpassung von Benutzeroberflächen für Touchscreens 93
  28. Langbeiträge: Soziale Kommunikation
  29. Langbeiträge: Soziale Kommunikation
  30. Analyse sozialer Beziehungen anhand nonverbaler Signale im IM-Chat 103
  31. Langbeiträge: Soziale Kommunikation
  32. Gemeinsam einig: Partizipation in Gruppenempfehlungssystemen 113
  33. Langbeiträge: Webseitenanalyse
  34. Langbeiträge: Webseitenanalyse
  35. Das Zusammenspiel von Website-Inhalten, Usability und Ästhetik 123
  36. Langbeiträge: Webseitenanalyse
  37. IA von Websites: asynchrone Remote-Tests und Laborstudien im Vergleich 133
  38. Langbeiträge: Webseitenanalyse
  39. Zusammenhang zwischen Net Promotor Score und User Experience 143
  40. Langbeiträge: Navigation
  41. Langbeiträge: Navigation
  42. AmbiGlasses — Information in the Periphery of the Visual Field 153
  43. Langbeiträge: Navigation
  44. Einflussfaktoren für eine situationsgerechte Navigationsunterstützung im Fahrzeug 163
  45. Langbeiträge: Virtuelle Welten
  46. Langbeiträge: Virtuelle Welten
  47. Towards Bimanual Control for Virtual Sculpting 173
  48. Langbeiträge: Virtuelle Welten
  49. Barrieren bei der Interaktion mit Virtual Reality Systemen 183
  50. Langbeiträge: Virtuelle Welten
  51. Soziale Umgebung Online-Welt — Gestaltungsfaktoren virtueller Räume 193
  52. Langbeiträge: Design und Kreativität
  53. Langbeiträge: Design und Kreativität
  54. KreativBarometer: Disclosing the dynamics of creativity climates 203
  55. Langbeiträge: Design und Kreativität
  56. Über die Synthese der MCI basierend auf dem Ursprung des Designs 213
  57. Langbeiträge: Design und Kreativität
  58. Erfassung von Attributionsstilen in der MCI — eine empirische Annäherung 223
  59. Langbeiträge: Barrierefreiheit
  60. Langbeiträge: Barrierefreiheit
  61. Generierung natürlichsprachlicher Beschreibungen für Sparklines 233
  62. Langbeiträge: Mediennutzung
  63. Langbeiträge: Mediennutzung
  64. Das computerbezogene Selbstkonzept: Eine gender-sensitive Studie 243
  65. Langbeiträge: Mediennutzung
  66. Flexible Mediennutzung durch die Integration von Geräten und Diensten 253
  67. Langbeiträge: Videos und Interaktion
  68. Langbeiträge: Videos und Interaktion
  69. MediaBrain: Annotating Videos based on Brain-Computer Interaction 263
  70. Langbeiträge: Videos und Interaktion
  71. VidPass — Passwörter in Raum und Zeit. Zur Usability von Videopasswörtern 273
  72. Langbeiträge: Videos und Interaktion
  73. A Zooming Concept for an Interactive Non-linear Video Authoring Software 283
  74. Langbeiträge: Interaktion in dreidimensionalen Räumen
  75. Langbeiträge: Interaktion in dreidimensionalen Räumen
  76. 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware 293
  77. Langbeiträge: Interaktion in dreidimensionalen Räumen
  78. Investigating Freehand Pan and Zoom 303
  79. Langbeiträge: Interaktion in dreidimensionalen Räumen
  80. Eine Variante von Fitts' Gesetz zum Vergleich von 2D- und 3D-Interaktion 313
  81. Kurzbeiträge & Poster 323
  82. Back Matter 395
Sign up now to receive a 20% welcome discount
Institutional Access
How does access work?
Have an idea on how to improve our website?
Please write us.
© 2025 De Gruyter Brill
Downloaded on 31.10.2025 from https://www.degruyterbrill.com/document/doi/10.1524/9783486718782.263/html
Scroll to top button