Springer Remote Sensing/Photogrammetry
Liping Di
Eugene Yu
Remote
Sensing Big
Data
,Springer Remote Sensing/Photogrammetry
,The Springer Remote Sensing/Photogrammetry series seeks to publish a broad
portfolio of scientific books, aiming at researchers, students, and everyone interested
in the broad field of geospatial science and technologies. The series includes peer-
reviewed monographs, edited volumes, textbooks, and conference proceedings. It
covers the entire area of Remote Sensing, including, but not limited to, land, ocean,
atmospheric science and meteorology, geophysics and tectonics, hydrology and
water resources management, earth resources, geography and land information,
image processing and analysis, satellite imagery, global positioning systems,
archaeological investigations, and geomorphological surveying.
Series Advisory Board:
Marco Chini, Luxembourg Institute of Science and Technology (LIST), Belvaux,
Luxembourg
Manfred Ehlers, University of Osnabrueck
Venkat Lakshmi, The University of South Carolina, USA
Norman Mueller, Geoscience Australia, Symonston, Australia
Alberto Refice, CNR-ISSIA, Bari, Italy
Fabio Rocca, Politecnico di Milano, Italy
Andrew Skidmore, The University of Twente, Enschede, The Netherlands
Krishna Vadrevu, The University of Maryland, College Park, USA
,Liping Di • Eugene Yu
Remote Sensing Big Data
,Liping Di Eugene Yu
Center for Spatial Information Science Center for Spatial Information Science
and Systems and Systems
George Mason University George Mason University
Fairfax, VA, USA Fairfax, VA, USA
ISSN 2198-0721 ISSN 2198-073X (electronic)
Springer Remote Sensing/Photogrammetry
ISBN 978-3-031-33931-8 ISBN 978-3-031-33932-5 (eBook)
https://doi.org/10.1007/978-3-031-33932-5
© Springer Nature Switzerland AG 2023
This work is subject to copyright. All rights are solely and exclusively licensed by the Publisher, whether
the whole or part of the material is concerned, specifically the rights of translation, reprinting, reuse of
illustrations, recitation, broadcasting, reproduction on microfilms or in any other physical way, and
transmission or information storage and retrieval, electronic adaptation, computer software, or by similar
or dissimilar methodology now known or hereafter developed.
The use of general descriptive names, registered names, trademarks, service marks, etc. in this publication
does not imply, even in the absence of a specific statement, that such names are exempt from the relevant
protective laws and regulations and therefore free for general use.
The publisher, the authors, and the editors are safe to assume that the advice and information in this book
are believed to be true and accurate at the date of publication. Neither the publisher nor the authors or the
editors give a warranty, expressed or implied, with respect to the material contained herein or for any
errors or omissions that may have been made. The publisher remains neutral with regard to jurisdictional
claims in published maps and institutional affiliations.
This Springer imprint is published by the registered company Springer Nature Switzerland AG
The registered company address is: Gewerbestrasse 11, 6330 Cham, Switzerland
,Contents
1 Introduction���������������������������������������������������������������������������������������������� 1
1.1 Concepts of Big Data������������������������������������������������������������������������ 1
1.2 Features of Big Data ������������������������������������������������������������������������ 4
1.2.1 Big Data Volume ������������������������������������������������������������������ 6
1.2.2 Big Data Velocity������������������������������������������������������������������ 8
1.2.3 Big Data Variety�������������������������������������������������������������������� 8
1.2.4 Big Data Veracity������������������������������������������������������������������ 8
1.2.5 Big Data Value���������������������������������������������������������������������� 9
1.3 Big Data Method and Technology���������������������������������������������������� 10
1.4 Remote Sensing Big Data ���������������������������������������������������������������� 10
References�������������������������������������������������������������������������������������������������� 11
2 Remote Sensing���������������������������������������������������������������������������������������� 17
2.1 Concepts�������������������������������������������������������������������������������������������� 17
2.2 Sensors���������������������������������������������������������������������������������������������� 19
2.2.1 Sensors by Radiometric Spectrums�������������������������������������� 19
2.2.2 Sensors by Work Mode �������������������������������������������������������� 30
2.3 Platforms ������������������������������������������������������������������������������������������ 36
2.3.1 Satellites�������������������������������������������������������������������������������� 36
2.3.2 Airborne�������������������������������������������������������������������������������� 38
2.3.3 In Situ������������������������������������������������������������������������������������ 38
2.3.4 Shipborne������������������������������������������������������������������������������ 39
References�������������������������������������������������������������������������������������������������� 39
3
Special Features of Remote Sensing Big Data �������������������������������������� 45
3.1 Volume of Remote Sensing Big Data ���������������������������������������������� 46
3.2 Variety of Remote Sensing Big Data������������������������������������������������ 46
3.3 Velocity of Remote Sensing Big Data���������������������������������������������� 48
3.4 Veracity of Remote Sensing Big Data���������������������������������������������� 48
3.5 Value of Remote Sensing Big Data�������������������������������������������������� 49
References�������������������������������������������������������������������������������������������������� 50
v
,vi Contents
4 Remote Sensing Big Data Collection Challenges and
Cyberinfrastructure and Sensor Web Solutions ���������������������������������� 53
4.1 Remote Sensing Big Data Collection Challenges���������������������������� 53
4.2 Remote Sensing Big Data Collection Cyberinfrastructure �������������� 56
4.2.1 Global Earth Observation System of Systems
(GEOSS) ������������������������������������������������������������������������������ 56
4.2.2 NASA Earth Observing System (EOS)
Data and Information System (EOSDIS)������������������������������ 58
4.2.3 ESA Federated Earth Observation (FedEO) ������������������������ 60
4.3 Sensor Web���������������������������������������������������������������������������������������� 62
4.4 Applications�������������������������������������������������������������������������������������� 66
4.4.1 Climate���������������������������������������������������������������������������������� 66
4.4.2 Weather �������������������������������������������������������������������������������� 67
4.4.3 Disasters�������������������������������������������������������������������������������� 68
4.4.4 Agriculture���������������������������������������������������������������������������� 68
References�������������������������������������������������������������������������������������������������� 69
5
Remote Sensing Big Data Computing���������������������������������������������������� 73
5.1 Computing Power to Handle Big Data: Distributed
and Parallel Computing�������������������������������������������������������������������� 73
5.2 Evolution of Geospatial Computing Platform���������������������������������� 74
5.2.1 Stand-Alone Software System Architecture ������������������������ 74
5.2.2 Client-Server Software System Architecture������������������������ 74
5.2.3 Distributed Computing���������������������������������������������������������� 75
5.3 Service-Oriented Architecture (SOA)���������������������������������������������� 76
5.3.1 Service Roles������������������������������������������������������������������������ 77
5.3.2 Service Operations���������������������������������������������������������������� 77
5.3.3 Service Chaining������������������������������������������������������������������ 78
5.3.4 Web Services������������������������������������������������������������������������ 78
5.3.5 Common Technology Stack for Web Services���������������������� 78
5.3.6 Web Service Applications ���������������������������������������������������� 81
5.3.7 Web Service Standards �������������������������������������������������������� 81
5.3.8 OGC Web Services �������������������������������������������������������������� 81
5.4 High-Throughput Computing Infrastructure������������������������������������ 85
5.4.1 Super Computing������������������������������������������������������������������ 85
5.4.2 Cluster Computer������������������������������������������������������������������ 85
5.4.3 Grid Computing�������������������������������������������������������������������� 86
5.4.4 Cloud Computing������������������������������������������������������������������ 88
References�������������������������������������������������������������������������������������������������� 92
6
Remote Sensing Big Data Management������������������������������������������������ 95
6.1 Remote Sensing Big Data Governance�������������������������������������������� 96
6.1.1 Strategy �������������������������������������������������������������������������������� 97
6.1.2 Organizational Structure/Communications�������������������������� 98
6.1.3 Data Policy���������������������������������������������������������������������������� 98
6.1.4 Measurements ���������������������������������������������������������������������� 98
6.1.5 Technology���������������������������������������������������������������������������� 98
,Contents vii
6.2 Remote Sensing Big Data Curation�������������������������������������������������� 99
6.2.1 Remote Sensing Big Data Organization ������������������������������ 99
6.2.2 Remote Sensing Big Data Archiving������������������������������������ 101
6.2.3 Remote Sensing Big Data Cataloging���������������������������������� 101
6.2.4 Remote Sensing Big Data Quality Assessment�������������������� 101
6.2.5 Remote Sensing Big Data Usability ������������������������������������ 102
6.2.6 Remote Sensing Big Data Version Control�������������������������� 102
6.3 Remote Sensing Big Data Dissemination Services�������������������������� 102
6.3.1 Data Discovery���������������������������������������������������������������������� 102
6.3.2 Data Access�������������������������������������������������������������������������� 104
References�������������������������������������������������������������������������������������������������� 104
7
Standards for Big Data Management���������������������������������������������������� 107
7.1 Standards for Remote Sensing Data Archiving�������������������������������� 107
7.2 Standards for Remote Sensing Big Data Metadata�������������������������� 108
7.2.1 What Is Metadata?���������������������������������������������������������������� 108
7.2.2 The FGDC Content Standard for Digital Geospatial
Metadata�������������������������������������������������������������������������������� 109
7.2.3 The FGDC Remote Sensing Metadata Extensions �������������� 112
7.2.4 ISO 19115 Geographic Information—Metadata������������������ 115
7.2.5 ISO Standards for Data Quality�������������������������������������������� 118
7.3 Standards for Remote Sensing Big Data Format������������������������������ 119
7.4 Standards for Remote Sensing Big Data Discovery ������������������������ 120
7.4.1 OGC Catalog Service for Web (CSW)��������������������������������� 121
7.4.2 OpenSearch �������������������������������������������������������������������������� 125
7.5 Standards for Remote Sensing Big Data Access������������������������������ 126
7.5.1 OGC Web Coverage Service (WCS)������������������������������������ 126
7.5.2 OGC Web Feature Service (WFS)���������������������������������������� 128
7.5.3 OGC Web Map Service (WMS) ������������������������������������������ 128
7.5.4 OGC Sensor Observation Service (SOS)������������������������������ 129
7.5.5 OpenDAP������������������������������������������������������������������������������ 130
References�������������������������������������������������������������������������������������������������� 130
8 Implementation Examples of Big Data Management
Systems for Remote Sensing������������������������������������������������������������������� 135
8.1 CWIC������������������������������������������������������������������������������������������������ 136
8.1.1 Introduction�������������������������������������������������������������������������� 136
8.1.2 CEOS WGISS ���������������������������������������������������������������������� 136
8.1.3 CWIC Architecture Design �������������������������������������������������� 136
8.1.4 CWIC System Implementation �������������������������������������������� 137
8.1.5 Results and Conclusion�������������������������������������������������������� 139
8.1.6 Future Work�������������������������������������������������������������������������� 144
8.2 The Registry in GEOSS GCI������������������������������������������������������������ 145
8.2.1 Background �������������������������������������������������������������������������� 145
8.2.2 The GEOSS Component and Service Registry�������������������� 146
8.2.3 System Implementation�������������������������������������������������������� 151
References�������������������������������������������������������������������������������������������������� 153
,viii Contents
9 Big Data Analytics for Remote Sensing: Concepts
and Standards������������������������������������������������������������������������������������������ 155
9.1 Big Data Analytics Concepts������������������������������������������������������������ 155
9.1.1 What Is Big Data Analytics?������������������������������������������������ 155
9.1.2 Categories of Big Data Analytics������������������������������������������ 156
9.1.3 Big Data Analytics Use Cases���������������������������������������������� 163
9.2 Remote Sensing Big Data Analytics Concepts �������������������������������� 163
9.2.1 Remote Sensing Big Data Challenges���������������������������������� 163
9.2.2 Categories of Remote Sensing Big Data Analytics�������������� 164
9.2.3 Processes of Remote Sensing Big Data Analytics���������������� 164
9.2.4 Objectives of Remote Sensing Big Data Analytics�������������� 165
9.3 Big Data Analytics Standards ���������������������������������������������������������� 166
9.3.1 IEEE Big Data Analytics Standards�������������������������������������� 166
9.3.2 ISO Big Data Working Group: ISO/IEC JTC 1/SC
42/WG 2�������������������������������������������������������������������������������� 167
References�������������������������������������������������������������������������������������������������� 167
10 Big Data Analytic Platforms������������������������������������������������������������������� 171
10.1 Big Data Analytic Platforms ���������������������������������������������������������� 171
10.2 Data Storage Strategy in Big Data Analytic Platforms ������������������ 173
10.3 Data-Processing Strategy in Big Data Analytic Platforms ������������ 174
10.4 Tools in Big Data Analytic Platforms �������������������������������������������� 180
10.5 Data Visualization in Big Data Analytic Platforms������������������������ 181
10.6 Remote Sensing Big Data Analytic Platforms�������������������������������� 183
10.6.1 GeoMesa �������������������������������������������������������������������������� 183
10.6.2 GeoTrellis������������������������������������������������������������������������� 184
10.6.3 RasterFrames�������������������������������������������������������������������� 184
10.7 Remote Sensing Big Data Analytic Services���������������������������������� 185
10.7.1 Google Earth Engine�������������������������������������������������������� 185
10.7.2 EarthServer—an Open Data Cube������������������������������������ 186
10.7.3 NASA Earth Exchange ���������������������������������������������������� 187
10.7.4 NASA Giovanni���������������������������������������������������������������� 188
10.7.5 Others�������������������������������������������������������������������������������� 189
References�������������������������������������������������������������������������������������������������� 189
11
Algorithmic Design Considerations of Big Data Analytics������������������ 195
11.1 Complexity of Remote Sensing Big Data Analytic
Algorithms�������������������������������������������������������������������������������������� 195
11.2 Challenges and Algorithm Design Considerations
from Volume������������������������������������������������������������������������������������ 197
11.3 Challenges and Algorithm Design Considerations
from Velocity���������������������������������������������������������������������������������� 200
11.4 Challenges and Algorithm Design Considerations
from Variety������������������������������������������������������������������������������������ 201
11.5 Challenges and Algorithm Design Considerations
from Veracity���������������������������������������������������������������������������������� 202
, Contents ix
11.6 Challenges and Algorithm Design Considerations
from Value�������������������������������������������������������������������������������������� 202
References�������������������������������������������������������������������������������������������������� 203
12 Machine Learning and Data Mining Algorithms
for Geospatial Big Data �������������������������������������������������������������������������� 207
12.1 Distributed and Parallel Learning �������������������������������������������������� 209
12.2 Data Reduction and Approximate Computing�������������������������������� 210
12.2.1 Sampling �������������������������������������������������������������������������� 210
12.2.2 Approximate Computing�������������������������������������������������� 211
12.3 Feature Selection and Feature Extraction �������������������������������������� 212
12.4 Incremental Learning���������������������������������������������������������������������� 214
12.5 Deep Learning�������������������������������������������������������������������������������� 216
12.6 Ensemble Analysis�������������������������������������������������������������������������� 217
12.7 Granular Computing ���������������������������������������������������������������������� 218
12.8 Stochastic Algorithms �������������������������������������������������������������������� 219
12.9 Transfer Learning���������������������������������������������������������������������������� 219
12.10 Active Learning������������������������������������������������������������������������������ 220
References�������������������������������������������������������������������������������������������������� 221
13 Modeling, Prediction, and Decision Making Based
on Remote Sensing Big Data ������������������������������������������������������������������ 227
13.1 A General Framework�������������������������������������������������������������������� 227
13.2 Modeling ���������������������������������������������������������������������������������������� 229
13.2.1 Data Models and Structures���������������������������������������������� 229
13.2.2 Modeling with Remote Sensing Big Data������������������������ 230
13.2.3 Validation with Remote Sensing Big Data����������������������� 232
13.3 Decision Making���������������������������������������������������������������������������� 233
References�������������������������������������������������������������������������������������������������� 234
14 Examples of Remote Sensing Applications of Big Data
Analytics—Fusion of Diverse Earth Observation Data������������������������ 237
14.1 The Concept of Data Fusion ���������������������������������������������������������� 237
14.1.1 Definitions������������������������������������������������������������������������ 237
14.1.2 Classification of Data Fusion�������������������������������������������� 238
14.2 Data Fusion Architectures�������������������������������������������������������������� 239
14.3 Fusion of MODIS and Landsat with Deep Learning���������������������� 240
14.3.1 The Problem���������������������������������������������������������������������� 240
14.3.2 Data Fusion Methods�������������������������������������������������������� 242
References�������������������������������������������������������������������������������������������������� 247
15 Examples of Remote Sensing Applications of Big Data
Analytics—Agricultural Drought Monitoring and Forecasting���������� 249
15.1 Agricultural Drought���������������������������������������������������������������������� 249
15.2 Remote Sensing Big Data for Agricultural Drought���������������������� 250
15.3 Geospatial Data Analysis Infrastructure GeoBrain������������������������ 253