Ljudi često smatraju da se ispravna i pogrešna rešenja međusobno isključuju. Ili si u pravi ili grešiš! Veštačke neuronske mreže moraju biti mnogo konkretnije. Za neuronsku mrežu, 95% tačnosti je potpuno drugačije od 97%. Mašini je teško da shvati da su ove dve vrednosti vrlo bliske i da obe predstavljaju slično rešenje. U izvesnom smislu, neuronskoj mreži je potrebno objasniti kako da zanemari ovu razliku tj. da odredi stepen tolerancije.

U neuronskim mrežama se ova vrednost naziva funkcijom troškova (Cost Function). Ona predstavlja broj koji će sistem koristiti za upoređivanje svog odgovora i onog koji se smatra potpuno tačnim. Ta vrednost može biti veoma mala ali i relativno velika.

Recimo da vaša neuronska mreža pokušava da utvrdi da li se na priloženoj slici nalazi pas. Sistem je utvrdio kako postoji 97% šanse da je to fotografija psa, ali se ispostavilo da je ipak u pitanju mačka. Ovakva greška ima malu cenu. Ukoliko se dogodi da mreža za fotografiju planine prekrivene snegom utvrdi kako postoji 99% šanse da je u pitanju fotografija psa, greška će imati mnogo veću cenu. U drugom slučaju je mreža napravila grubu grešku, što znači da mora agresivnije prilagoditi parametre koji se odnose na težinu i pristrasnost. Svaki pokušaj da se ispravi ovakva greška predstavlja nezgodan problem. U ovakvim situacijama mnoge neuronske mreže koriste nešto što se naziva postepeno spuštanje (Gradient Descent).

Zamislite da vaša veštačka neuronska mreža ponovo igra pikado. Ona vrši predviđanja i procenjuje koliko su se strelice približile svom cilju. Neke strelice će završiti daleko od centra, ali postoje i predviđanja koja pogađaju blizu centra. Pri svakom bacanju, strelica mora da savlada određeno rastojanje da bi stigla do mete. U početku će njen vrh biti usmeren nagore a pre nego što pogodi metu, čitava strelica će biti nagnuta nadole. Ako strelica potpuno promaši tablu, neophodno je izvršiti veću promenu ugla, dok je za bacanja koja pogađaju sasvim blizu centra, potrebna minimalna korekcija.

Neuronska mreža funkcioniše da isti način. Ona koristi tehniku postepenog spuštanja da bi prilagodila težinu i pristrasnost u mreži. Bez obzira što nije u mogućnosti da baci pravu strelicu, ona će koristiti vrlo sličan proračun za merenje ugla i odrediti veličinu greške. U stvari, ova tehnika predstavlja jednu od najvećih inovacija u oblasti veštačkih neuronskih mreža. Ona se naziva povratno širenje grešaka u mreži (Backpropagation of errors) ili skraćeno Backprop. Imajte u vidu da mi stalno koristimo ono što se zove ka napred usmerena veštačka mreža (Feedforward artificial network). To znači da podaci putuju s leva na desno tj. da sve počinje od ulaznog sloja i kreće se napred prema izlaznom sloju. Kada vaša mreža napravi grešku, ona mora da se vrati unazad. Neophodno je da primeni postepeno spuštanje i Backprop za podešavanje težine i pristrasnosti i utvrdi ozbiljnost svoje greške. Ako se ispostavi da je meta potpuno promašena, mreža mora da izvrši ekstremno prilagođavanje, ali ako je predviđanje bilo veoma blisko, onda mreža mora da bude mnogo pažljivija. Mreža će se kretati unapred, a svoje greške ispravljati hodom unazad. Na taj način se vrši podešavanje koji vodi ka konačnom cilju.