www.zak24.pl
INTERNETOWA KSIĘGARNIA NAUKOWO - AKADEMICKA

Intelligent interactive systems technologies

31,90  (w tym 5% VAT)

ISBN: 978-83-7348-873-1

Numer wydania: 1

Rok wydania: 2022

Język wydania: angielski

Liczba stron: 290

Opis

Intelligent interactive systems technologies

autor:Wiszniewski Bogdan, Szwoch Wioleta, Dembski Jerzy, Godlewska Magdalena, Kaczmarek Adam, Kołakowska Agata, Lebiedź Jacek, Smiatacz Maciej, Szwoch Mariusz, Daciuk Jan

Wydawnictwo Politechniki Gdańskiej

 

All research areas discussed in this book are the subject of intensive research conducted for many years at the Department of Intelligent Interactive Systems at the Faculty of Electronics, Telecommunications and Informatics at Gdansk University of Technology. The common denominator of this activity is allowing people to interact with the computer in the most natural and obvious way, regardless of their age, training, education or degree of disability. Arguing somewhat with Turing’s expectations as expressed in the concept of his famous ’imitation game’, there is hardly no need for computers to deceptively impersonate human beings. Nobody expects them to today. Instead, users would rather expect computer applications and systems to play all day long a role of obedient servants – skillful executors of commands, wise advisers, understanding teachers, good entertainers, caring helpers, and so on – depending on the time of day, need of a current situation or user’s mood. The examples in this book show that today’s AI and visualization solutions, supported by the vast resources of data available on the Internet, are dealing with these challenges quite well. And, as may be seen, each day they can do more.

 

Contents

Preface i

1 Feature extraction in detection and recognition of graphical objects 1

1.1 Basics of feature extraction . . . . .  . 2

1.1.1 Learning and generalization . . . . . . . . . . . . . . . . . . . . . . 2

1.1.2 Course of dimensionality . . . . . . . . . . . . . . . . . . . . . . . . 3

1.1.3 Extraction vs. classification . . . . . . . . . . . . . . . . . . . . . . 4

1.2 Learning methods for the feature extractor . . . . . . . . . . . . . . . . . . . 7

1.2.1 Learning the classifier with the selection of features . . . . . . . . . . 7

1.2.2 Feature extraction on the basis of similar classification tasks . . . . . 8

1.2.3 Training the extractor by means of genetic programming in character

recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.2.4 Artificial neural network as an approximator of extraction function . 12

1.2.5 Assembling a neural model from ready-made features . . . . . . . . 14

1.3 Multitask Learning (MTL) . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1.3.1 Prediction of selected parameters as additional tasks . . . . . . . . . 15

1.3.2 Multitask learning using other classification methods than ANN . . . 16

1.3.3 Parameter optimization in multiclass Adaboost one-vs-all approach . 16

1.3.4 Use of deep models in multitask learning . . . . . . . . . . . . . . . 16

1.3.5 Comparison of sequential transfer and parallel learning (multitask) . . 17

1.3.6 Open problems related to the multitask learning technique . . . . . . 17

1.4 Transfer learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

1.4.1 Deep artificial neural networks with convolutional layers . . . . . . . 18

1.4.2 Transfer learning for learning networks with convolutional layers . . 19

1.4.3 Convolutional neural networks (CNN) learning problems in the target

task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

1.4.4 Transfer learning with domain adaptation . . . . . . . . . . . . . . . 22

1.4.5 One-shot learning . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

2 Language models in speech recognition 27

2.1 Noisy channel model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.2 Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.3 N-grams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

2.3.1 Out-of-vocabulary words . . . . . . . . . . . . . . . . . . . . . . . . 31

v

2.3.2 Smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.3.3 Add-1 smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

2.3.4 Add-k smoothing . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

2.3.5 Interpolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

2.3.6 Backoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.3.7 Good-Turing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.3.8 Kneser-Ney . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.3.9 Stupid backoff . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.3.10 Model pruning and variable-length models . . . . . . . . . . . . . . 36

2.4 Syntactic models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.4.1 Full parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.4.2 Shallow models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

POS tagging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Chunking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Supertagging and superchunking . . . . . . . . . . . . . . . . . . . . 39

2.5 Semantic models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.6 Neural models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2.6.1 Simple feed-forward networks . . . . . . . . . . . . . . . . . . . . . 40

2.6.2 Recurrent networks . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

2.6.3 Reduction of complexity . . . . . . . . . . . . . . . . . . . . . . . . 44

Hierarchical Softmax . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Other methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.7 Model combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.8 Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

2.9 New proposals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

2.9.1 Improvements to the n-gram models . . . . . . . . . . . . . . . . . . 47

2.9.2 Non-neural and non-n-gram syntactic models . . . . . . . . . . . . . 49

2.9.3 Improvements to the neural models . . . . . . . . . 51

3 Biometric identity verification 53

3.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

3.2 Databases, protocols and data-related problems . . . .. 56

3.3 Visual silence removal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.4 Basic algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.4.1 LTPgram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.4.2 LMgram . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3.5 Optimization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

3.5.1 Silence removal and spectrogram preprocessing . . . . . . . . . . . . 67

3.5.2 LTP code length . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

3.5.3 Number of horizontal stripes . . . . . . . . . . . . . . . . . . . . . . 68

3.5.4 Distribution of horizontal stripes . . . . . . . . . . . . . . . . . . . . 69

3.5.5 Stripe weighting . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

3.5.6 Other experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

3.6 The final algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

vi

4 Human emotion recognition with biosignals 75

4.1 Affective computing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

4.2 Models of emotions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

4.2.1 Ekman model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

4.2.2 Plutchik model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77

4.2.3 The circumplex model of emotion . . . . . . . . . . . . . . . . . . . 78

4.2.4 PAD model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

4.2.5 Self-Assessment Manikin . . . . . . . . . . . . . . . . . . . . . . . 80

4.2.6 OCC model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

4.3 Data acquisition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

4.3.1 Ways of expressing emotions . . . . . . . . . . . . . . . . . . . . . . 82

4.3.2 Emotion elicitation . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

4.3.3 Databases of emotions . . . . . . . . . . . . . . . . . . . . . . . . . 85

4.4 Physiological signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

4.4.1 Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

4.4.2 Electroencephalography (EEG) . . . . . . . . . . . . . . . . . . . . 88

4.4.3 Electrocardiography (ECG) . . . . . . . . . . . . . . . . . . . . . . 89

4.4.4 Blood volume pulse (BVP) . . . . . . . . . . . . . . . . . . . . . . . 89

4.4.5 Other biosignals . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

Electrodermal activity (EDA) . . . . . . . . . . . . . . . . . . . . . 90

Skin temperature (SKT) . . . . . . . . . . . . . . . . . . . . . . . . 91

Respiration (RSP) . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

Electromyography (EMG) . . . . . . . . . . . . . . . . . . . . . . . 92

4.4.6 The association of biosignals with emotions . . . . . . . . . . . . . . 92

4.4.7 Non-contact measurement of biosignals . . . . . . . . . . . . . . . . 93

4.5 Emotion recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

5 Analysis of human behavioral patterns 97

5.1 Behavioral biometrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

5.2 Data representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

5.2.1 Keystroke dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . 100

5.2.2 Mouse movements and clicks . . . . . . . . . . . . . . . . . . . . . 101

5.2.3 Touchscreen gestures . . . . . . . . . . . . . . . . . . . . . . . . . . 104

5.3 User authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

5.3.1 Unsupervised approach . . . . . . . . . . . . . . . . . . . . . . . . . 107

Distance-based methods . . . . . . . . . . . . . . . . . . . . . . . . 108

Neural networks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

One-class SVM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

Statistical method . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

5.3.2 Supervised approach . . . . . . . . . . . . . . . . . . . . . . . . . . 109

Distance-based . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

Machine learning approaches . . . . . . . . . . . . . . . . . . . . . 110

5.3.3 Hybrid approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

5.4 Emotion recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

5.4.1 Keyboard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

5.4.2 Mouse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

vii

5.4.3 Touchscreen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

5.4.4 Multimodal approach . . . . . . . . . . . . . . . . . . . . . . . . . . 115

5.5 Diagnosing and monitoring disorders . . . . . . . . . . . . . . . . . . . . . . 117

5.5.1 Bipolar affective disorder . . . . . . . . . . . . . . . . . . . . . . . 117

5.5.2 Depression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

5.5.3 Autism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5.6 Benchmark datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

6 Affect aware video games 125

6.1 Affective and affect-aware video games . . . . . . . . . . . . . . . . . . . . 126

6.1.1 Emotional model of the player . . . . . . . . . . . . . . . . . . . . . 129

6.1.2 Dynamic Game Difficulty Balancing . . . . . . . . . . . . . . . . . 129

6.1.3 Game genre, target, platform and gameplay type . . . . . . . . . . . 131

6.2 Design, development and UX testing of affect-aware video games . . . . . . 132

6.2.1 Architectures for affect-aware video games . . . . . . . . . . . . . . 132

6.2.2 Methodologies for development of affect-aware video games . . . . . 134

6.2.3 Emotion recognition for UX testing of video games . . . . . . . . . . 136

6.3 Multimodal emotion recognition . . . . . . . . . . . . . . . . . . . . . . . . 137

6.3.1 Recognition of human emotions . . . . . . . . . . . . . . . . . . . . 137

6.3.2 Input channels and their modalities . . . . . . . . . . . . . . . . . . 138

Video channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

Audio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

Bio-signals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

Input devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

Player’s behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

Depth image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

6.4 A featured review of affect-aware video games . . . . . . . . . . . . . . . . 144

6.4.1 Teeth Defense: emotion recognition using bio-signals . . . . . . . . . 144

6.4.2 Ejcom: emotion recognition using video input . . . . . . . . . . . . . 144

6.4.3 Farm: emotion recognition using input devices . . . . . . . . . . . . 146

6.4.4 Wombat: motion recognition based on the player’s behavior . . . . . 146

6.5 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

7 Virtual immersive environments 151

7.1 Infrastructure of I3DVL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

7.1.1 The BigCAVE system . . . . . . . . . . . . . . . . . . . . . . . . . 152

7.1.2 CyberSphere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

7.1.3 The MidiCAVE system . . . . . . . . . . . . . . . . . . . . . . . . . 153

7.1.4 The MiniCAVE system . . . . . . . . . . . . . . . . . . . . . . . . . 154

7.2 VR applications portfolio of I3DVL . . . . . . . . . . . . . . . . . . . . . . 155

7.2.1 Basic application data . . . . . . . . . . . . . . . . . . . . . . . . . 155

7.2.2 Scene characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . 155

Complexity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

Dynamics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

7.2.3 Human-system interaction . . . . . . . . . . . . . . . . . . . . . . . 156

Input technology . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

viii

Reactive response . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

Development platforms and simulation engines . . . . . . . . . . . . 157

Staff and time requirements . . . . . . . . . . . . . . . . . . . . . . 157

7.2.4 Product catalog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

7.3 Comprehensive overview of I3DVL products . . . . . . . . . . . . . . . . . 158

7.3.1 Procurers and developers . . . . . . . . . . . . . . . . . . . . . . . . 159

7.3.2 Audiences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

Education . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Virtual reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . 160

Virtual prototyping . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

Therapy and rehabilitation . . . . . . . . . . . . . . . . . . . . . . . 163

7.3.3 User scenarios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

7.3.4 Technical requirements . . . . . . . . . . . . . . . . . . . . . . . . . 168

7.3.5 Development life-cycle . . . . . . . . . . . . . . . . . . . . . . . . . 169

8 Linking music data in executable documents 171

8.1 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

8.1.1 The IODA architecture . . . . . . . . . . . . . . . . . . . . . . . . . 172

Layers in the IODA document . . . . . . . . . . . . . . . . . . . . . 173

Functionality of IODA documents . . . . . . . . . . . . . . . . . . . 174

8.1.2 References between files . . . . . . . . . . . . . . . . . . . . . . . . 174

References in web pages . . . . . . . . . . . . . . . . . . . . . . . . 174

Document annotations . . . . . . . . . . . . . . . . . . . . . . . . . 175

Web page annotations . . . . . . . . . . . . . . . . . . . . . . . . . 175

References in music files . . . . . . . . . . . . . . . . . . . . . . . . 177

References in images . . . . . . . . . . . . . . . . . . . . . . . . . . 177

References in videos . . . . . . . . . . . . . . . . . . . . . . . . . . 178

8.1.3 Semantic Web . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

Resource identification . . . . . . . . . . . . . . . . . . . . . . . . . 179

8.2 Data sets in IODA Media Documents . . . . . . . . . . . . . . . . . . . . . 179

8.2.1 All files in the same folder . . . . . . . . . . . . . . . . . . . . . . . 180

8.2.2 Single subfolder . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180

8.2.3 Different folders . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

8.3 IMD references . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

8.4 Defining IMD references in XML files . . . . . . . . . . . . . . . . . . . . . 182

8.5 The process of search for music data . . . . . . . . . . . . . . . . . . . . . . 184

8.5.1 The search for a fragment of lyrics . . . . . . . . . . . . . . . . . . . 185

8.5.2 The search on the basis of humming queries . . . . . . . . . . . . . . 186

8.6 Linking Video data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

8.7 Managing credibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

8.8 Local versus global data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188

8.9 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189

8.10 IODA Media Document Manager . . . . . . . . . . . . . . . . . . . . . . . 191

ix

9 Document centric knowledge processes 193

9.1 Knowledge processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

9.2 Document-centric collaboration . . . . . . . . . . . . . . . . . . . . . . . . 196

9.2.1 Communication of content . . . . . . . . . . . . . . . . . . . . . . . 199

9.2.2 Coordination of activities . . . . . . . . . . . . . . . . . . . . . . . . 204

Basic Control Flow Patterns . . . . . . . . . . . . . . . . . . . . . . 206

Advanced Branching and Synchronization Patterns . . . . . . . . . . 206

Multiple Instances Patterns . . . . . . . . . . . . . . . . . . . . . . . 207

State-based Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . 208

Cancellation and Termination Patterns . . . . . . . . . . . . . . . . . 208

Iteration Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

Trigger Patterns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

9.3 MIND – Mobile INteractive Document . . . . . . . . . . . . . . . . . . . . . 210

9.4 Distributed workflow enactment service . . . . . . . . . . . . . . . . . . . . 212

9.4.1 Implementation of workflow patterns . . . . . . . . . . . . . . . . . 214

Distributed state patterns . . . . . . . . . . . . . . . . . . . . . . . . 215

Coupled state patterns . . . . . . . . . . . . . . . . . . . . . . . . . 216

Embedded state patterns . . . . . . . . . . . . . . . . . . . . . . . . 217

Acronyms 219

Bibliography 223

Index 257

A Appendix: I3DVL application inventory 261

 

Opinie

Na razie nie ma opinii o produkcie.

Napisz pierwszą opinię o „Intelligent interactive systems technologies”

Twój adres e-mail nie zostanie opublikowany. Wymagane pola są oznaczone *