Opis
Intelligent interactive systems technologies
autor:Wiszniewski Bogdan, Szwoch Wioleta, Dembski Jerzy, Godlewska Magdalena, Kaczmarek Adam, Kołakowska Agata, Lebiedź Jacek, Smiatacz Maciej, Szwoch Mariusz, Daciuk Jan
Wydawnictwo Politechniki Gdańskiej
All research areas discussed in this book are the subject of intensive research conducted for many years at the Department of Intelligent Interactive Systems at the Faculty of Electronics, Telecommunications and Informatics at Gdansk University of Technology. The common denominator of this activity is allowing people to interact with the computer in the most natural and obvious way, regardless of their age, training, education or degree of disability. Arguing somewhat with Turing’s expectations as expressed in the concept of his famous ’imitation game’, there is hardly no need for computers to deceptively impersonate human beings. Nobody expects them to today. Instead, users would rather expect computer applications and systems to play all day long a role of obedient servants – skillful executors of commands, wise advisers, understanding teachers, good entertainers, caring helpers, and so on – depending on the time of day, need of a current situation or user’s mood. The examples in this book show that today’s AI and visualization solutions, supported by the vast resources of data available on the Internet, are dealing with these challenges quite well. And, as may be seen, each day they can do more.
Contents
Preface i
1 Feature extraction in detection and recognition of graphical objects 1
1.1 Basics of feature extraction . . . . . . 2
1.1.1 Learning and generalization . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 Course of dimensionality . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.3 Extraction vs. classification . . . . . . . . . . . . . . . . . . . . . . 4
1.2 Learning methods for the feature extractor . . . . . . . . . . . . . . . . . . . 7
1.2.1 Learning the classifier with the selection of features . . . . . . . . . . 7
1.2.2 Feature extraction on the basis of similar classification tasks . . . . . 8
1.2.3 Training the extractor by means of genetic programming in character
recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.4 Artificial neural network as an approximator of extraction function . 12
1.2.5 Assembling a neural model from ready-made features . . . . . . . . 14
1.3 Multitask Learning (MTL) . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.1 Prediction of selected parameters as additional tasks . . . . . . . . . 15
1.3.2 Multitask learning using other classification methods than ANN . . . 16
1.3.3 Parameter optimization in multiclass Adaboost one-vs-all approach . 16
1.3.4 Use of deep models in multitask learning . . . . . . . . . . . . . . . 16
1.3.5 Comparison of sequential transfer and parallel learning (multitask) . . 17
1.3.6 Open problems related to the multitask learning technique . . . . . . 17
1.4 Transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.4.1 Deep artificial neural networks with convolutional layers . . . . . . . 18
1.4.2 Transfer learning for learning networks with convolutional layers . . 19
1.4.3 Convolutional neural networks (CNN) learning problems in the target
task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.4.4 Transfer learning with domain adaptation . . . . . . . . . . . . . . . 22
1.4.5 One-shot learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2 Language models in speech recognition 27
2.1 Noisy channel model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.2 Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.3 N-grams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3.1 Out-of-vocabulary words . . . . . . . . . . . . . . . . . . . . . . . . 31
v
2.3.2 Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.3.3 Add-1 smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.4 Add-k smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.5 Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.3.6 Backoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.7 Good-Turing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.3.8 Kneser-Ney . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
2.3.9 Stupid backoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.3.10 Model pruning and variable-length models . . . . . . . . . . . . . . 36
2.4 Syntactic models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4.1 Full parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.4.2 Shallow models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
POS tagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Chunking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Supertagging and superchunking . . . . . . . . . . . . . . . . . . . . 39
2.5 Semantic models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.6 Neural models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.6.1 Simple feed-forward networks . . . . . . . . . . . . . . . . . . . . . 40
2.6.2 Recurrent networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.6.3 Reduction of complexity . . . . . . . . . . . . . . . . . . . . . . . . 44
Hierarchical Softmax . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Other methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.7 Model combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.8 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.9 New proposals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.9.1 Improvements to the n-gram models . . . . . . . . . . . . . . . . . . 47
2.9.2 Non-neural and non-n-gram syntactic models . . . . . . . . . . . . . 49
2.9.3 Improvements to the neural models . . . . . . . . . 51
3 Biometric identity verification 53
3.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2 Databases, protocols and data-related problems . . . .. 56
3.3 Visual silence removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
3.4 Basic algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.4.1 LTPgram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.4.2 LMgram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
3.5 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.5.1 Silence removal and spectrogram preprocessing . . . . . . . . . . . . 67
3.5.2 LTP code length . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.5.3 Number of horizontal stripes . . . . . . . . . . . . . . . . . . . . . . 68
3.5.4 Distribution of horizontal stripes . . . . . . . . . . . . . . . . . . . . 69
3.5.5 Stripe weighting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.5.6 Other experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
3.6 The final algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
vi
4 Human emotion recognition with biosignals 75
4.1 Affective computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
4.2 Models of emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.1 Ekman model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.2.2 Plutchik model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2.3 The circumplex model of emotion . . . . . . . . . . . . . . . . . . . 78
4.2.4 PAD model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.2.5 Self-Assessment Manikin . . . . . . . . . . . . . . . . . . . . . . . 80
4.2.6 OCC model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.3 Data acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3.1 Ways of expressing emotions . . . . . . . . . . . . . . . . . . . . . . 82
4.3.2 Emotion elicitation . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.3.3 Databases of emotions . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.4 Physiological signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.1 Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
4.4.2 Electroencephalography (EEG) . . . . . . . . . . . . . . . . . . . . 88
4.4.3 Electrocardiography (ECG) . . . . . . . . . . . . . . . . . . . . . . 89
4.4.4 Blood volume pulse (BVP) . . . . . . . . . . . . . . . . . . . . . . . 89
4.4.5 Other biosignals . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
Electrodermal activity (EDA) . . . . . . . . . . . . . . . . . . . . . 90
Skin temperature (SKT) . . . . . . . . . . . . . . . . . . . . . . . . 91
Respiration (RSP) . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Electromyography (EMG) . . . . . . . . . . . . . . . . . . . . . . . 92
4.4.6 The association of biosignals with emotions . . . . . . . . . . . . . . 92
4.4.7 Non-contact measurement of biosignals . . . . . . . . . . . . . . . . 93
4.5 Emotion recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
5 Analysis of human behavioral patterns 97
5.1 Behavioral biometrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
5.2 Data representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.2.1 Keystroke dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . 100
5.2.2 Mouse movements and clicks . . . . . . . . . . . . . . . . . . . . . 101
5.2.3 Touchscreen gestures . . . . . . . . . . . . . . . . . . . . . . . . . . 104
5.3 User authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
5.3.1 Unsupervised approach . . . . . . . . . . . . . . . . . . . . . . . . . 107
Distance-based methods . . . . . . . . . . . . . . . . . . . . . . . . 108
Neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
One-class SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
Statistical method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
5.3.2 Supervised approach . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Distance-based . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Machine learning approaches . . . . . . . . . . . . . . . . . . . . . 110
5.3.3 Hybrid approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4 Emotion recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
5.4.1 Keyboard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
5.4.2 Mouse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
vii
5.4.3 Touchscreen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.4.4 Multimodal approach . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.5 Diagnosing and monitoring disorders . . . . . . . . . . . . . . . . . . . . . . 117
5.5.1 Bipolar affective disorder . . . . . . . . . . . . . . . . . . . . . . . 117
5.5.2 Depression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.5.3 Autism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.6 Benchmark datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
6 Affect aware video games 125
6.1 Affective and affect-aware video games . . . . . . . . . . . . . . . . . . . . 126
6.1.1 Emotional model of the player . . . . . . . . . . . . . . . . . . . . . 129
6.1.2 Dynamic Game Difficulty Balancing . . . . . . . . . . . . . . . . . 129
6.1.3 Game genre, target, platform and gameplay type . . . . . . . . . . . 131
6.2 Design, development and UX testing of affect-aware video games . . . . . . 132
6.2.1 Architectures for affect-aware video games . . . . . . . . . . . . . . 132
6.2.2 Methodologies for development of affect-aware video games . . . . . 134
6.2.3 Emotion recognition for UX testing of video games . . . . . . . . . . 136
6.3 Multimodal emotion recognition . . . . . . . . . . . . . . . . . . . . . . . . 137
6.3.1 Recognition of human emotions . . . . . . . . . . . . . . . . . . . . 137
6.3.2 Input channels and their modalities . . . . . . . . . . . . . . . . . . 138
Video channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
Audio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Bio-signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Input devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Player’s behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
Depth image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.4 A featured review of affect-aware video games . . . . . . . . . . . . . . . . 144
6.4.1 Teeth Defense: emotion recognition using bio-signals . . . . . . . . . 144
6.4.2 Ejcom: emotion recognition using video input . . . . . . . . . . . . . 144
6.4.3 Farm: emotion recognition using input devices . . . . . . . . . . . . 146
6.4.4 Wombat: motion recognition based on the player’s behavior . . . . . 146
6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
7 Virtual immersive environments 151
7.1 Infrastructure of I3DVL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
7.1.1 The BigCAVE system . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.1.2 CyberSphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.1.3 The MidiCAVE system . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.1.4 The MiniCAVE system . . . . . . . . . . . . . . . . . . . . . . . . . 154
7.2 VR applications portfolio of I3DVL . . . . . . . . . . . . . . . . . . . . . . 155
7.2.1 Basic application data . . . . . . . . . . . . . . . . . . . . . . . . . 155
7.2.2 Scene characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.2.3 Human-system interaction . . . . . . . . . . . . . . . . . . . . . . . 156
Input technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
viii
Reactive response . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
Development platforms and simulation engines . . . . . . . . . . . . 157
Staff and time requirements . . . . . . . . . . . . . . . . . . . . . . 157
7.2.4 Product catalog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
7.3 Comprehensive overview of I3DVL products . . . . . . . . . . . . . . . . . 158
7.3.1 Procurers and developers . . . . . . . . . . . . . . . . . . . . . . . . 159
7.3.2 Audiences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Virtual reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Virtual prototyping . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Therapy and rehabilitation . . . . . . . . . . . . . . . . . . . . . . . 163
7.3.3 User scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
7.3.4 Technical requirements . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.3.5 Development life-cycle . . . . . . . . . . . . . . . . . . . . . . . . . 169
8 Linking music data in executable documents 171
8.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
8.1.1 The IODA architecture . . . . . . . . . . . . . . . . . . . . . . . . . 172
Layers in the IODA document . . . . . . . . . . . . . . . . . . . . . 173
Functionality of IODA documents . . . . . . . . . . . . . . . . . . . 174
8.1.2 References between files . . . . . . . . . . . . . . . . . . . . . . . . 174
References in web pages . . . . . . . . . . . . . . . . . . . . . . . . 174
Document annotations . . . . . . . . . . . . . . . . . . . . . . . . . 175
Web page annotations . . . . . . . . . . . . . . . . . . . . . . . . . 175
References in music files . . . . . . . . . . . . . . . . . . . . . . . . 177
References in images . . . . . . . . . . . . . . . . . . . . . . . . . . 177
References in videos . . . . . . . . . . . . . . . . . . . . . . . . . . 178
8.1.3 Semantic Web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Resource identification . . . . . . . . . . . . . . . . . . . . . . . . . 179
8.2 Data sets in IODA Media Documents . . . . . . . . . . . . . . . . . . . . . 179
8.2.1 All files in the same folder . . . . . . . . . . . . . . . . . . . . . . . 180
8.2.2 Single subfolder . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
8.2.3 Different folders . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
8.3 IMD references . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.4 Defining IMD references in XML files . . . . . . . . . . . . . . . . . . . . . 182
8.5 The process of search for music data . . . . . . . . . . . . . . . . . . . . . . 184
8.5.1 The search for a fragment of lyrics . . . . . . . . . . . . . . . . . . . 185
8.5.2 The search on the basis of humming queries . . . . . . . . . . . . . . 186
8.6 Linking Video data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
8.7 Managing credibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
8.8 Local versus global data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
8.9 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
8.10 IODA Media Document Manager . . . . . . . . . . . . . . . . . . . . . . . 191
ix
9 Document centric knowledge processes 193
9.1 Knowledge processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
9.2 Document-centric collaboration . . . . . . . . . . . . . . . . . . . . . . . . 196
9.2.1 Communication of content . . . . . . . . . . . . . . . . . . . . . . . 199
9.2.2 Coordination of activities . . . . . . . . . . . . . . . . . . . . . . . . 204
Basic Control Flow Patterns . . . . . . . . . . . . . . . . . . . . . . 206
Advanced Branching and Synchronization Patterns . . . . . . . . . . 206
Multiple Instances Patterns . . . . . . . . . . . . . . . . . . . . . . . 207
State-based Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . 208
Cancellation and Termination Patterns . . . . . . . . . . . . . . . . . 208
Iteration Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Trigger Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
9.3 MIND – Mobile INteractive Document . . . . . . . . . . . . . . . . . . . . . 210
9.4 Distributed workflow enactment service . . . . . . . . . . . . . . . . . . . . 212
9.4.1 Implementation of workflow patterns . . . . . . . . . . . . . . . . . 214
Distributed state patterns . . . . . . . . . . . . . . . . . . . . . . . . 215
Coupled state patterns . . . . . . . . . . . . . . . . . . . . . . . . . 216
Embedded state patterns . . . . . . . . . . . . . . . . . . . . . . . . 217
Acronyms 219
Bibliography 223
Index 257
A Appendix: I3DVL application inventory 261
Opinie
Na razie nie ma opinii o produkcie.