SyfteSyftet med rapporten är att genom Design Science Research skapa en förbättrad stödvektormaskin (SVM) som artefakt för att bidra till kunskap kring optimering av hyperparametrar genom experiment. Delmålen är att se hur och vilka hyperparametrar som påverkar mest för klassificering av landningsbanor. Rapporten kommer även att undersöka ifall tekniken med IR kameror i kombination med Histogram av Orienterade Gradienter (HOG) är tillämpbart i realiteten för detektion av landningsbanor.MetodStudien genomförs genom utförande av experiment som undersöker hyperparametrarnas påverkan på maskininlärningsmodellen, utvärderar optimeringsalgoritmer samt ett implementeringstest. Dessa utförs på Saab Avionics Systems genom att med olika justeringar och optimeringar utvärdera deras ramverk för detektion av landningsbanor med maskininlärningsmodellen stödvektormaskin. Experimentet med manuell rutnätssökning testar och utvärderar dess klassificeringsresultat mot bland annat måtten stödvektorkvot och träffsäkerhet. Tre olika optimeringsalgoritmer som optimerar gamma och C parametrarna har utvärderats, dessa består av metoderna rutnätssökning, slumpmässig rutnätssökning samt bayesiansk optimering.ResultatResultatet pekade på att alla utvärderade parametrar kan ge en positiv påverkan på prestandan av en SVM. Resultatet var att HOG-parametrarna; 6 gradienthistogram, 64*64 pixlar per cell, 2*2 celler per block, gav höst träffsäkerhet i denna undersökning. En jämt delbar bildupplösning var även en betydelsefull ändring, som gav en ökning med 1.5% i träffsäkerhet. Andra resultat i rapporten visar att radiell basfunktion (rbf) kärnan presterade högre än den linjära kärnan. Större antal träningsdata var även fördelaktigt för en hög prestanda.Den högst presterande optimeringsalgoritmen var bayesiansk optimering som förbättrade hyperparametrarna för tre av åtta tester. Tekniken med SVM och HOG-vektorer som indata för detektion av landningsbanor har visats vara implementerbar med hög prestanda. En hårdvaruanpassad teknisk implementation skulle ge tekniken i fråga snabbare klassificeringstid. Prestandan ligger runt 30–145 fps per detektionsruta samt träffsäkerheten över 99,4% för denna data.ImplikationerEn implikation uppkom under arbetet med de tre experimenten. Implikationen var att beskärningen av landningsbanan med IR kameran med långvågsteknik var aningen felaktig kontra IR kameran med kortvågsteknik. Detta kan betyda att vissa resultat i denna studie innehåller en viss felmarginal (upp till 12% för träffsäkerhet) som gav LWIR-kameran sämre prestanda.BegränsningarBegränsningen i rapporten var att träningsdatan endast innehöll en specifik landningsbana vilket gav att testet och träningsdatan var lika varandra. En annan begränsning är att måttet träffsäkerhet inte ger en rättvis bild över obalanserade klasser.NyckelordSVM, HOG, landningsbana, hyperparametrar, optimering, rbf-kärna, rutnätssökning, bayesiansk optimering, slumpmässig rutnätssökning, objektdetektion, klassificering, marginal för detektionsfönster, överanpassning, C, gamma, avstånd, IR kamera, träningsdata, jitter i träningsdata, balans mellan klasser, implementation.

PurposeThe purpose of the thesis is to use design science research to produce information to improve a support vector machine (SVM) model and to gain knowledge about optimization of hyperparameters through experiments. The objective will be answered through evaluation of performance gained by adjusting the hyperparameters. The report will also evaluate the further use of the techniques with IR cameras in combination with histogram of oriented gradients (HOG) as translated input for the SVM-model trained to detect and do a classification of runways.MethodThe method was performed through three technical experiments performed at Saab Avionics Systems. The experiments contain adjusting and optimizing settings in Saabs framework for detecting runways with the machine learning method support vector machine. The experiments with manual grid search will test and evaluate the performance of the support vector ratio, accuracy and more. Three different optimization methods will be evaluated which consists of grid search, random grid search and Bayesian optimization and all three will optimize the parameters C and gamma.FindingsThe findings indicate that all the evaluated parameters could bring positive performance impact on the SVM. Some important results were the HOG settings 6 orientation histograms, 64*64 pixels per cell, 2*2 cells per pixel, which performed best. An even dividable resolution of the image was also important for the HOG calculations. Other results indicate that the Radial Basis Function - kernel was the better choice over the linear kernel, as well as a higher amount of training data was better for a higher performance.The best performing optimization algorithm was the Bayesian optimization which found and improved three of eight testcases. The technique combining SVM with HOG-vectors for detecting runways are shown being implementable with high performance. A hardware implementation with an FPGA would be the recommended implementation which would improve classification time as well as the HOG computation time. Around 35-145 fps per detection window would be achievable with this technique with an accuracy above 99.4%.ComplicationsFew implications were found during the work apart from one. Which were the case of the detection window of one of the IR cameras (LWIR) which was a bit skewed compared to the SWIR sensor. The result contains some uncertainties of the performance compared between SWIR and LWIR sensors.LimitationsThe limitation of the report is that the training data were similar and only consisting of one runway. The accuracy performance can be a bit misleading when evaluating an imbalanced class.KeywordsSVM, HOG, runway, hyperparameters, optimization, RBF kernel, grid search, Bayesian optimization, random grid search, object detection, classification, margin for detecting window, over fitting, C, gamma, range, IR camera, training data, data augmentation, class balance in data, implementation.