Hardware-software support for data stream processing in cloud-fog computing concept

[D. B. Marković]

111 listova

Velika zastupljenost i popularnost IoT uređaja, na svetskom nivou, doveli su do generisanja ogromne količine podataka, dok se sa druge strane pojavilo Cloud računarstvo koje poseduje snažnu podrška za procesiranje tih podataka. Prosleđivanjem podataka od IoT uređaja do Cloud okruženja formirana je jako pogodna kombinacija, pri čemu se podrazumeva da je obrada podataka sasvim centralizovana. Motivacija i glavni cilj u ovoj disertaciji jeste pružanje dodatnog uvida u drugačiji koncept koji se oslanja na decentralizovanu obradu podataka. Kao pogodan pristup korišćeno je Fog računarstvo kako bi se zadaci procesiranja podataka preneli sa nivoa Cloud računarstva na nivo bliži izvorima podataka. Kao primer obrade podataka korišćene su aplikacije koje se zasnivaju na modelima dubokog učenja, gde je konkretno realizovan model koji pripada tipu konvolucijskih neuronskih mreža. Navedene aplikacije su služile za klasifikaciju slika u oblasti pametne poljoprivrede (Smart Agriculture) sa ciljem da se ukaže na mogućnosti efikasnije detekcije stanja posmatranog objekta i primene odgovarajućih mera. Predstavljeni su postupci za treniranje i proveru modela klasifikacije, kao i njegovo konvertovanje u optimizovane modele koji mogu da se izvršavaju na uređajima sa ograničnim hardverskim resursima. Glavna varijanta je podrazumevala pripremu modela za izvršavanje na FPGA kolu formirajući tako hardverske akceleratore za klasifikaciju slika. Sa primnjenim modelom klasifikacije koji je prenet za izvršavanje u okviru Fog računarstava dobijene su vrednosti sa prihvatljivim kašnjenjem. Što znači da su ostvarene obrade podataka u realnom vremenu, dok su redukovane vrednosti opterećenja servera u pogledu obima prenetih podataka i energetske potrošnje. U slučaju potrebe za procenom sistema Fog računarstva većeg obima modelovana je Cloud–Fog struktura korišćenjem iFogSim projekta za simulaciju. Pri tome su uzeti u obzir prioriteti aplikacija i vršene su procene o prihvatljivom opterećenju korisničkih aplikacija koje omogućava dobijanje rezultata u realnom vremenu.

The large presence and popularity of IoT devices, at the global level, have led to the generation of a huge amount of data, also Cloud computing has emerged with strong support for processing that data. By forwarding data from IoT devices to the Cloud environment, a very suitable combination has been formed, whereby it is assumed that data processing is completely centralized. The motivation and main goal of this dissertation is to provide additional insight into a different concept that relies on decentralized data processing. Fog computing was used as a suitable approach to transfer data processing tasks from the Cloud computing level to a level closer to the data sources. As an example of data processing, applications based on deep learning models were used, where specifically the type of convolutional neural networks was used for model implementation. The above applications were used for image classification as a segment of Smart Agriculture to indicate the possibilities of more efficient detection of the state of the observed object and the application of appropriate measures. Procedures for training and testing the classification model are presented, as well as its conversion into optimized models that can be executed on devices with limited hardware resources. The main variant involved preparing the model for execution on an FPGA circuit, thus forming hardware accelerators for image classification. With the pre-trained classification model, executed within Fog computing, acceptable result delay has been obtained. This means that data processing was achieved in real time, while the load on the server was reduced such as the volume of transferred data and energy consumption. In case of need for evaluation of a larger scale Fog computing system, a Cloud-Fog structure was modeled using the iFogSim simulation project. Application priorities were taken into account and estimates were made of the acceptable load of user applications that enable results in real time.

Cloud računarstvo, Fog računarstvo, Internet stvari (IoT), Klasifikacija slika, Duboko učenje, Konvolucijske neuronske mreže, Pametna poljoprivreda, FPGA, Akceleratori.

Cloud computing, Fog computing, Internet of Things (IoT), Image classification, Deep learning, Convolutional neural networks, Smart agriculture, FPGA, Accelerators.

004.4(043.3)

Računarski programi

Tekst