Kako dizajnirati usporedni eksperiment za provjeru izvedbe algoritma

Kontrola jedne varijable i kvantificiranje ishoda usporedbe temeljne su komponente konstruiranja komparativnog eksperimenta. To se može provesti u praksi korištenjem koraka "eksperimentalna skupina - kontrolna skupina → kontrolne varijable → dizajniranje testnih scenarija → statistički pokazatelji → procjena rezultata." Sljedeći su precizni koraci:

 

1. Eksperimentalno grupiranje (jasno definirajte odnos kontrole) Stvorite dvije do tri usporedne grupe da pokažete kako se različiti algoritmi razlikuju jedan od drugog:

Kontrolna skupina 1: Konvencionalna tehnika usporedbe s fiksnim pragom (trenutačno rješenje, početna vrijednost)

Eksperimentalna skupina: Optimizirani algoritam koji treba potvrditi, poput "postupnog dinamičkog + 3σ + EWMA kombiniranog algoritma" koji želite testirati

Jedan optimizirani algoritam (npr. jednostavno postavljeni dinamički prag, za provjeru valjanosti adaptivnog pojačanja ažuriranja) je druga izborna kontrolna grupa.

 

2. Reguliranje nevažnih čimbenika za održavanje pravednosti. Kako biste spriječili smetnje od ne-algoritamskih čimbenika, tijekom eksperimenta moraju se održavati sljedeći uvjeti:

Dosljedan hardver: Nemojte mijenjati hardver; umjesto toga upotrijebite isti skup PLC-ova za prikupljanje, isto mjesto za montažu i isti par senzora.

Konzistentni radni uvjeti: Nemojte mijenjati proizvod niti modificirati proces; umjesto toga, testirajte na istoj proizvodnoj liniji koristeći isti proizvod i parametre procesa.

Konzistentan ciklus testiranja: Za isto vrijeme, obje grupe prolaze kontinuirano testiranje (npr. svaka traje dva tjedna, pokrivajući dovoljan broj proizvodnih ciklusa).

 

3. Stvorite tri različite vrste testnih scenarija koji se bave svakim aspektom izvedbe. Posebno izradite scenarije kako biste temeljito potvrdili mogućnosti algoritma:

(1) Anti{1}}test interferencije za konvencionalne radne uvjete (potvrđivanje stope lažnih alarma)

Postupak testiranja: Redovita proizvodnja, stalno bilježenje svih alarma i ručna provjera legitimnosti svakog alarma.

Statistički pokazatelji: Odredite stope lažnih uzbuna za dvije grupe i pratite postotak pada u stopi lažnih uzbuna optimiziranog algoritma.

Očekivani ishod: U usporedbi s fiksnim pragom, stopa lažnih alarma optimiziranog algoritma trebala bi pasti za najmanje 60%.

(2) Test simulacije kvara (potvrđujući vrijeme odgovora i stopu propuštenih upozorenja) Ponovite test tri puta za svaku skupinu ručno simulirajući tri tipična kvara industrijskog senzora:

Tablica: Simulirana vrsta greške Tehnika simulacije Indikatori verifikacije trenutnog pomaka nulte-točke Dodajte trenutni pomak od 0,1%FS jednom od izlaza senzora, a zatim se oporavite nakon sekunde. Provjerite postoji li lažna uzbuna (obično je ne bi trebalo biti). Konstantno sporo starenje Svaki dan dodajte 0,01%FS offset izlazu jednog senzora, što daje do 0,1%FS. Provjerite propuštene alarme i pravovremene alarme. Postupno pomicanje: Kontinuirano pomicanje izlaza jednog senzora za 0,2%FS. Provjerite može li se otkriti na vrijeme i odgodu odgovora alarma. Standardi prihvaćanja: Bez propuštenih alarma, kašnjenja odgovora kraćih od deset sekundi i lažnih alarma za trenutne smetnje, optimizirani algoritam otkriva sve stalne probleme u 100% slučajeva.

(3) Test prilagodljivosti dugoročnom-starenju (Provjerite dugotrajnu{2}}stabilnost) Metoda ispitivanja: Izračunajte stopu lažnih alarma jednom mjesečno i izvodite kontinuirano tri mjeseca bez ručnog podešavanja parametara. Statistički pokazatelj: Odredite koliko se stopa lažnih uzbuna promijenila tijekom tri mjeseca. Kriteriji prihvatljivosti: Stopa promjene algoritma s fiksnim pragom obično prelazi 5%, dok optimizirani algoritam s prilagodljivim ažuriranjima ima stopu promjene stope lažnog alarma manju ili jednaku 2%.

 

4. Statistika podataka i određivanje rezultata

Nakon eksperimenta korištene su sljedeće smjernice za prikupljanje podataka i procjenu izvedbe:

Prioritet temeljnih pokazatelja: Izvedba optimiziranog algoritma smatra se superiornom ako je njegova stopa lažnih uzbuna manja od ili jednaka 5%, što je veće od ili jednako 60% niža od kontrolne skupine i ako je njegova stopa lažnih uzbuna manja od ili jednaka 1%.

Dugoročna-provjera stabilnosti: adaptivni mehanizam je učinkovit i dugoročno ima bolje rezultate od kontrolne skupine ako je varijacija u stopi lažnog alarma manja od 2% nakon tri mjeseca.

Dodatak inženjerskoj praktičnosti: Statističko ispitivanje vremena otklanjanja pogrešaka i učestalosti održavanja; poboljšana praktičnost prikazana je smanjenjem učestalosti održavanja od najmanje 30% nakon optimizacije.

Mjere opreza za eksperimente

Izbjegavajte mijenjanje algoritma i hardvera u isto vrijeme. Nalazi će biti dvosmisleni ako je algoritam jedina varijabla.

Kako bi se pokrilo dovoljno proizvodnih ciklusa da podaci budu statistički značajni, razdoblje testiranja ne bi trebalo biti prekratko-trebalo bi trajati najmanje jedan do dva tjedna.

Svaki alarm potrebno je ručno provjeriti. Kako bi se spriječila statistička pristranost, alarme algoritma ne treba smatrati stvarnim podacima.