{"id":27100,"date":"2021-05-27T13:24:11","date_gmt":"2021-05-27T11:24:11","guid":{"rendered":"https:\/\/www.kaspersky.nl\/blog\/?p=27100"},"modified":"2021-05-27T13:24:11","modified_gmt":"2021-05-27T11:24:11","slug":"rsa2021-tesla-mobileye-perception-gap","status":"publish","type":"post","link":"https:\/\/www.kaspersky.nl\/blog\/rsa2021-tesla-mobileye-perception-gap\/27100\/","title":{"rendered":"Automatische piloten van Tesla en Mobileye misleid door &#8220;spookafbeeldingen&#8221;"},"content":{"rendered":"<p>Je ziet het weleens in films: het hoofdpersonage denkt dat ze iemand op de weg zien lopen, dus ze zwenken opzij met de auto en eindigen in de greppel. Stelt u zich nu eens voor dat dit echt is \u2014 een soort van \u2014 en dat dit in plaats van door een illusie van het licht of ons brein door een cybercrimineel komt die een fractie van een seconde iets projecteert waarop de automatische piloot moet reageren omdat die zo geprogrammeerd is. Onderzoekers van Georgia Tech en de Ben-Gurion Universiteit van de Negev <a href=\"https:\/\/www.rsaconference.com\/usa\/agenda\/session\/securing-tesla-and-mobileye-from-splitsecond-phantom-attacks\" target=\"_blank\" rel=\"noopener nofollow\">demonstreerden<\/a> de risico\u2019s van zo\u2019n soort \u201cspookaanval\u201d tijdens de <a href=\"https:\/\/www.kaspersky.com\/blog\/tag\/rsac\/\" target=\"_blank\" rel=\"noopener nofollow\">RSA Conference 2021<\/a>.<\/p>\n<p>Het idee van het tonen van gevaarlijke afbeeldingen aan AI-systemen is niet nieuw. Deze technieken maken vaak gebruik van <a href=\"https:\/\/www.kaspersky.com\/blog\/machine-learning-nine-challenges\/23553\/\" target=\"_blank\" rel=\"noopener nofollow\">gemodificeerde afbeeldingen<\/a> om de AI te dwingen een onverwachte conclusie te trekken. Alle machine-learning-algoritmes hebben zo\u2019n achilleshiel: het weten welke attributen essentieel zijn voor beeldherkenning \u2014 oftewel enige kennis van het algoritme \u2014 maakt het mogelijk om afbeeldingen te modificeren zodat ze het besluitvormingsproces van de machine kunnen belemmeren of het zelfs kunnen dwingen om een fout te maken.<\/p>\n<p>De nieuwigheid van de aanpak die tijdens de RSA Conference 2021 werd gedemonstreerd is dat de automatische piloot niet-gemodificeerde afbeeldingen werd getoond \u2014 een aanvaller hoeft dan dus niet te weten hoe het algoritme werkt of van welke attributen het gebruikmaakt. De afbeeldingen werden kortstondig op de weg en nabije stationaire objecten geprojecteerd, met de volgende consequenties:<\/p>\n<p><span class=\"embed-youtube\" style=\"text-align:center; display: block;\"><iframe class=\"youtube-player\" type=\"text\/html\" width=\"640\" height=\"390\" src=\"https:\/\/www.youtube.com\/embed\/1cSw4fXYqWI?version=3&amp;rel=1&amp;fs=1&amp;showsearch=0&amp;showinfo=1&amp;iv_load_policy=1&amp;wmode=transparent\" frameborder=\"0\" allowfullscreen=\"true\"><\/iframe><\/span><\/p>\n<p>In een variatie op dit thema verschenen de afbeeldingen een fractie van een seconde in een commercial op een billboard aan de kant van de weg, met in feite hetzelfde resultaat:<\/p>\n<p><span class=\"embed-youtube\" style=\"text-align:center; display: block;\"><iframe class=\"youtube-player\" type=\"text\/html\" width=\"640\" height=\"390\" src=\"https:\/\/www.youtube.com\/embed\/-E0t_s6bT_4?version=3&amp;rel=1&amp;fs=1&amp;showsearch=0&amp;showinfo=1&amp;iv_load_policy=1&amp;wmode=transparent\" frameborder=\"0\" allowfullscreen=\"true\"><\/iframe><\/span><\/p>\n<p>De onderzoekers concludeerden daarom dat cybercriminelen flinke schade kunnen aanrichten vanaf een veilige afstand, zonder het risico te lopen om bewijs achter te laten op de plaats delict. Het enige dat ze hoeven te weten is hoelang ze de afbeelding moeten projecteren om de AI om de tuin te leiden (zelfrijdende auto\u2019s hebben een hogere tijdsdrempel om de kans op foutpositieven te verkleinen, bijvoorbeeld door vuil op de cameralens of lidar.<\/p>\n<p>De remafstand van een auto wordt in meters gemeten, dus het toevoegen van een paar decimeters voor betere beoordeling van situaties was geen probleem voor AI-ontwikkelaars.<\/p>\n<div id=\"attachment_27103\" style=\"width: 1810px\" class=\"wp-caption aligncenter\"><img loading=\"lazy\" decoding=\"async\" aria-describedby=\"caption-attachment-27103\" class=\"wp-image-27103 size-full\" src=\"https:\/\/media.kasperskydaily.com\/wp-content\/uploads\/sites\/99\/2021\/05\/27132214\/rsa2021-tesla-mobileye-perception-gap-chart.png\" alt=\"Reactietijd van Tesla- en Mobileye-herkenningssystemen op een spookafbeelding\" width=\"1800\" height=\"1400\"><p id=\"caption-attachment-27103\" class=\"wp-caption-text\">Vereiste tijdsduur voor de weergave van een spookafbeelding voor herkenningssystemen van Tesla en Mobileye. <a href=\"https:\/\/www.rsaconference.com\/usa\/agenda\/session\/securing-tesla-and-mobileye-from-splitsecond-phantom-attacks\" target=\"_blank\" rel=\"noopener nofollow\">Bron<\/a><\/p><\/div>\n<p>Maar het cijfer van een aantal meter is van toepassing op het kunstmatige visiesysteem van Mobileye en een snelheid van 60 km\/u. In dat geval is de reactietijd ongeveer 125 milliseconden. De reactiedrempel van Tesla\u2019s automatische piloot, zoals experimenteel vastgesteld door de onderzoekers, ligt bijna drie keer zo lang, op 400 milliseconden. Bij dezelfde snelheid zou dat bijna 7 meter meer zijn. Hoe dan ook: het is nog altijd een fractie van een seconde. De onderzoekers denken dan ook dat zo\u2019n aanval uit het niets kan komen \u2014 voor u het weet ligt u in een greppel en is de beeld-projecterende drone verdwenen.<\/p>\n<p>Een eigenaardigheid in het systeem wekt de hoop dat automatische piloten uiteindelijk in staat zullen zijn dit soort aanvallen af te slaan: beelden die worden geprojecteerd op oppervlakken die ongeschikt zijn om beelden op weer te geven, wijken sterk af van de werkelijkheid. Perspectiefvervorming, ongelijke randen, onnatuurlijke kleuren, extreem contrast en andere eigenaardigheden zorgen ervoor dat spookbeelden voor het menselijk oog zeer gemakkelijk van echte voorwerpen te onderscheiden zijn.<\/p>\n<p>De kwetsbaarheid van de automatische piloot voor spookaanvallen is dan ook een gevolg van de perceptiekloof tussen AI en het menselijk brein. Om die kloof te overbruggen, stellen de onderzoekers voor om autopilot-systemen uit te rusten met extra controles op consistentie op het gebied van perspectief, gladheid van randen, kleur, contrast en helderheid, en om ervoor te zorgen dat de resultaten consistent zijn voordat er een beslissing wordt genomen. Net als bij een menselijk oordeel zullen neurale netwerken beraadslagen over de parameters die helpen om echte camera- of lidarsignalen te onderscheiden van een vluchtige spookafbeelding.<\/p>\n<p>Dit zou uiteraard de rekenlast van de systemen verhogen en in feite leiden tot de parallelle werking van verschillende neurale netwerken tegelijk, die allemaal noodzakelijkerwijs moeten worden getraind (een langdurig en energie-intensief proces). En auto\u2019s, nu al kleine clusters van computers op wielen, zullen moeten veranderen in kleine clusters van supercomputers op wielen.<\/p>\n<p>Nu <a href=\"https:\/\/en.wikipedia.org\/wiki\/AI_accelerator\" target=\"_blank\" rel=\"noopener nofollow\">AI-versnellers<\/a> populairder worden, kunnen auto\u2019s wellicht meerdere neurale netwerken aan boord hebben die parallel werken en geen stroom verbruiken. Maar dat is een verhaal voor een andere keer.<\/p>\n<p><strong><input type=\"hidden\" class=\"category_for_banner\" value=\"kesb-top3\"><\/strong><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Onderzoekers toonden tijdens de RSA Conference 2021 aan hoe de automatische piloten van Tesla en Mobileye misleid kunnen worden door \u201cspookafbeeldingen\u201d.<\/p>\n","protected":false},"author":2454,"featured_media":27101,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[108,252,253,79],"tags":[584,615,1054,729,488,384,1056,1055],"class_list":{"0":"post-27100","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-business","8":"category-enterprise","9":"category-smb","10":"category-technology","11":"tag-ai","12":"tag-kunstmatige-intelligentie","13":"tag-rsa-2021","14":"tag-rsa-conference","15":"tag-rsac","16":"tag-technologie","17":"tag-tesla","18":"tag-zelfrijdende-autos"},"hreflang":[{"hreflang":"nl","url":"https:\/\/www.kaspersky.nl\/blog\/rsa2021-tesla-mobileye-perception-gap\/27100\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/rsa2021-tesla-mobileye-perception-gap\/22909\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/rsa2021-tesla-mobileye-perception-gap\/18394\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/rsa2021-tesla-mobileye-perception-gap\/9143\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/rsa2021-tesla-mobileye-perception-gap\/24828\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/rsa2021-tesla-mobileye-perception-gap\/22821\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/rsa2021-tesla-mobileye-perception-gap\/22002\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/rsa2021-tesla-mobileye-perception-gap\/25378\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/rsa2021-tesla-mobileye-perception-gap\/24764\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/rsa2021-tesla-mobileye-perception-gap\/30814\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/rsa2021-tesla-mobileye-perception-gap\/9684\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/rsa2021-tesla-mobileye-perception-gap\/40064\/"},{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/rsa2021-tesla-mobileye-perception-gap\/17008\/"},{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/rsa2021-tesla-mobileye-perception-gap\/17546\/"},{"hreflang":"pl","url":"https:\/\/plblog.kaspersky.com\/rsa2021-tesla-mobileye-perception-gap\/14879\/"},{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/rsa2021-tesla-mobileye-perception-gap\/26837\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/rsa2021-tesla-mobileye-perception-gap\/30846\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/rsa2021-tesla-mobileye-perception-gap\/23966\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/rsa2021-tesla-mobileye-perception-gap\/29286\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/rsa2021-tesla-mobileye-perception-gap\/29083\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.nl\/blog\/tag\/rsac\/","name":"RSAC"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/posts\/27100","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/users\/2454"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/comments?post=27100"}],"version-history":[{"count":3,"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/posts\/27100\/revisions"}],"predecessor-version":[{"id":27104,"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/posts\/27100\/revisions\/27104"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/media\/27101"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/media?parent=27100"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/categories?post=27100"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.nl\/blog\/wp-json\/wp\/v2\/tags?post=27100"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}