Executia - realizarea studiului complet -

Studiul complet se realizeaza tinand cont de toate aspectele cuprinse in Raportul privind studiul preliminar care in prealabil a fost aprobat de conducerea Curtii de Conturi. Executia presupune elaborarea unui plan detaliat si realizarea activitatilor de colectare, sintetizare, analizare si interpretare a probelor de audit.

Elaborarea unui plan detaliat

In activitatea de elaborare a planului detaliat privind realizarea studiului complet se ia in considerare Raportul privind studiul preliminar.

Planul detaliat va include

Cuprinsul planului detaliat

Stabilirea modalitatilor concrete prin care se vor obtine probele de audit;

Cum pot fi sintetizate, analizate si explicate probele de audit.

Puncte cheie

Auditorul estimeaza timpul necesar pentru indeplinirea fiecarei sarcini. Daca este necesar el trebuie sa ia in considerare si timpul consumat cu testarea metodelor. De exemplu pentru chestionare, pe langa estimarea timpului necesar realizarii acestora, se va lua in calcul atat timpul necesar testarii, cat si cel pentru imbunatatirea listei de intrebari .

De asemenea, in plan vor fi prevazute resursele pe care auditorii le au la dispozitie, precum si sarcinile cele mai importante (critice) de a caror indeplinire depinde finalizarea studiului la termenul prevazut.

Alegerea metodologiei pentru examinarea probelor

Natura speciala a auditului performantei solicita o alegere atenta a metodologiei pentru obtinerea si examinarea probelor de audit. In acest sens, auditorii sunt permanent preocupati de valabilitatea metodelor utilizate in activitatea de colectare si analizare a probelor de audit, precum si de credibilitatea acestora. 212d36c

Valabilitate - metodele si tehnicile selectate masoara ceea ce s-a planificat sa fie masurat;

Credibilitatea (gradul de incredere) - constatarile nu trebuie sa sufere modificari, in situatia in care masuratorile utilizeaza aceleasi date.

Planul se revizuieste permanent

Probele de audit vor fi sintetizate, analizate si interpretate pe masura ce ele se obtin. Auditorii analizeaza daca probele sunt sau nu convingatoare. In cazul in care probele nu sunt suficient de convingatoare, auditorii pot decide obtinerea unor probe suplimentare care sa fie colectate din surse diferite .

Daca auditorii constata ca executivul are in intentie schimbari de obiective, organizari sau analize, care au legatura cu subiectul studiului, acestia pot propune sa se renunte la continuarea studiului.

Entitatea va fi informata periodic

Auditorii vor informa periodic entitatea in legatura cu modul in care se deruleaza examinarile pentru evidentierea progreselor realizate. Se va mentine o legatura permanenta cu managementul entitatii atat pentru a clarifica unele aspecte ce rezulta din activitatea de colectare, analizare si interpretare a probelor de audit, cat si pentru a informa operativ asupra punctelor slabe (aspectele negative) ce privesc realizarea performantei sau in legatura cu aplicarea unui management neperformant.

Factorii care influenteaza selectarea tehnicilor de esantionare

Obtinerea probelor de audit

In auditul performantei activitatea de colectare a probelor de audit, precum si documentarea acestora, trebuie realizata in mod sistematic. De altfel, dupa cum s-a mentionat si in capitolul anterior standardele de audit prevad ca, pentru a sprijini rationamentul auditorilor, in stabilirea unor concluzii privind entitatea, programul, activitatea sau actiunea supusa auditului, trebuie obtinute probe competente, relevante si rezonabile.

In timp ce in cadrul auditurilor financiare probele tind sa fie conclusive (da/nu sau bine/rau), in auditurile performantei probele sunt persuasive (conduc la concluzia ca.)

Cele mai utilizate metode si tehnici de colectare a probelor sunt:

Esantionarea

Multitudinea de date si informatii referitoare la entitatile auditate, precum si timpul limitat alocat pentru examinarea acestora, ii determina pe auditori sa recurga la esantionare.

In astfel de situatii, la selectarea tehnicilor de esantionare auditorii trebuie sa tina cont de influenta urmatorilor factori:

numarul si marimea relativa a elementelor ce compun populatia;

materialitatea si riscul inerent al erorii elementelor implicate;

relevanta si credibilitatea probelor obtinute prin teste si proceduri alternative;

costul si timpul necesar aplicarii tehnicilor potentiale.

Este esential ca esantionul extras (prin utilizarea unei tehnici de esantionare) sa fie reprezentativ (caracteristici similare pentru elementele din intreaga populatie) astfel incat, concluziile rezultate din testarea acestuia sa poata fi extrapolate la nivelul intregii populatii.

Interviurile

Reprezinta o metoda directa de investigatie constand in intervievarea subiectilor special alesi, in scopul obtinerii de informatii, care servesc la formularea unor idei si opinii in legatura cu diferite probleme.

Spre deosebire de chestionare, interviul prin caracterul sau nemijlocit de a cauta clarificari asupra unor informatii vagi sau confuze, prezinta avantajul ca dupa analizarea raspunsurilor primite poate determina dezvaluiri sincere.

In cadrul auditului performantei se utilizeaza mai multe tipuri de interviuri, de la cele nestructurate, care au un caracter interactiv, la interviuri structurate care se desfasoara pe baza unei liste de intrebari .

In functie de natura acestora, interviurile se impart in urmatoarele categorii:

o       interviuri pregatitoare;

o       interviuri pentru colectarea datelor si informatiilor;

o       interviuri care identifica atitudini si colecteaza argumente;

o       interviuri care au menirea de a evalua idei si sugestii.

Interviurile se pot realiza cu o persoana sau cu mai multe persoane in acelasi timp, telefonic sau prin posta, prin vizite la locul de munca sau domiciliu.

Pentru a obtine o imagine de ansamblu a realitatii este important sa se realizeze interviuri cu persoane, care ocupa pozitii diferite intr-un domeniu sau intr-o entitate. De exemplu cu personalul de la nivel central si local, cu personalul de la entitati diferite, dar care activeaza in acelasi domeniu, cu experti, cercetatori si cadre didactice, care au legatura cu domeniul cercetat.

Intocmirea unui ghid

Modul in care este realizat interviul, determina volumul si calitatea datelor si informatiilor obtinute. De aceea este necesar sa se intocmeasca un ghid pentru realizarea interviurilor.

Inceperea interviului

Persoana care realizeaza interviul se va prezenta in mod prietenos si va expune pe scurt, subiectele ce urmeaza a fi abordate, prezentand cateva aspecte legate de activitatea Curtii de Conturi, despre studiu si despre persoana care ia notite. Totodata, va intreba intervievatul daca are ceva de clarificat inainte de a incepe interviul.

Interviurile vor incepe cu intrebari care au un caracter general, asa-zis demografice (exemplu, De cand lucrati in institutie?, Care este pregatirea dumneavoastra? Ce hobby aveti? Etc.) la care se raspunde usor si care au menirea de a incuraja intervievatul sa se relaxeze. Astfel, daca se are in vedere adresarea unor intrebari despre trecut, prezent si viitor, se va incepe cu prezentul la care este mai usor de raspuns, iar intrebarile referitoare la trecut si viitor se vor adresa catre sfarsitul interviului, deoarece acestea sunt mai dificile mai ales ca presupun si un anumit timp de gandire.

Desfasurarea interviului

Se va mentine o atmosfera prietenoasa, relaxanta. Se vor utiliza cuvintele cele mai potrivite pentru adresarea intrebarilor astfel incat acestea sa stabileasca o relatie pozitiva, care sa nu ofenseze; sa nu-l incurce si nici sa nu-l judece pe cel intervievat. Se vor evita intrebarile care conduc catre raspunsuri generale, precum si intrebarile de genul "Care sunt punctele tari, respectiv punctele slabe ale programului?, intrucat intervievatul se va concentra ori asupra punctelor tari ori asupra punctelor slabe.

Este recomandabil ca aceste intrebari sa se formuleze astfel: Doresc sa va intreb despre punctele slabe si punctele tari ale programului, in primul rand punctele tari - care credeti ca sunt? - se asteapta raspunsul si se intreaba in continuare: Acum punctele slabe - care apreciati ca sunt?

Se pot pune intrebari in lant (legate intre ele). Spre exemplu: dupa ce se adreseaza intrebarea: "Ce credeti despre proiect? Raspunsul poate fi: Cred ca este foarte bun si se continua cu intrebarea: In ce sens este proiectul foarte bun? Se asteapta raspunsul si se poate adresa intrebarea: In ce conditii credeti ca proiectul ar fi avut rezultate excelente?

Abilitatile auditorului

Pe parcursul interviului, auditorul trebuie sa dea dovada de tact, sa asculte cu atentie raspunsurile, sa nu intrerupa intervievatul sau sa completeze fraza (raspunsul) acestuia si sa dea explicatii la intrebarile care nu au fost intelese. De asemenea, se recomanda ca acesta sa foloseasca cat mai mult limbajul corpului intretinand o atmosfera relaxanta si incurajand intervievatul sa raspunda.

Totodata, trebuie sa sintetizeze aspectele cheie, pentru a verifica daca problemele acopera toate subiectele propuse, sa parafrazeze unele raspunsuri si sa verifice daca au fost bine intelese.

Daca intervievatul se indeparteaza de la subiect, trebuie sa i se reaminteasca acestuia subiectul interviului in mod politicos, cu tact dar hotarat.

Observarea limbajului corpului

Daca intervievatii devin nervosi, isi duc mana la gura, rosesc, se uita in sus, in jos, la stanga sau la dreapta, sau au inconsecventa in raspunsuri, auditorul trebuie sa realizeze ca acestia, ocolesc raspunsul sau nu spun adevarul.

In astfel de situatii, auditorul poate adresa o intrebare mai usoara cu caracter general si apoi sa revina cu intrebari la subiect.

Sinteza raspunsurilor la incheierea interviului.

Nota interviului

La sfarsitul interviului se trec in revista raspunsurile oferind intervievatului posibilitatea de a face eventuale corectii, adaugiri sau dezvoltari in legatura cu unele raspunsuri. Daca intervievatul este dispus sa extinda raspunsurile dar timpul nu-i mai permite, auditorul poate propune o noua intalnire.

Dupa incheierea interviului, se intocmeste o "nota a interviului" care este trimisa intervievatului pentru a fi semnata, avand in acest fel confirmarea corectitudinii raspunsurilor. Cu aceasta ocazie intervievatul este invitat sa faca alte comentarii daca el le considera a fi necesare. Trebuie avut grija ca aceasta nota sa nu contina aprecieri privind comportamentul intervievatului (nervozitate, grija, cat a fost de convingator, cat a fost de hotarat, etc.).

Scopul organizarii

Componenta grupului

5-12 participanti

Caile utilizate pentru imbunatatirea performantei

Identificarea obiectivului

Grupurile de dezbatere

Principalul scop al organizarii grupurilor de dezbatere este acela de a culege informatii preliminare, care sa fie testate prin metoda interviului sau prin tehnica observatiei. Raspunsurile obtinute in urma organizarii unui astfel de grup sunt adesea folosite la formularea intrebarilor ce compun chestionarele.

Grupurile de dezbatere sunt utilizate pentru a culege opinii, pareri si idei de la persoanele familiarizate cu un anumit subiect. Datele si informatiile obtinute sunt mai degraba de ordin calitativ.

De regula, grupul este format din 5 pana la 12 persoane si este asistat de un moderator "facilitator" (poate fi un auditor) care conduce discutiile in legatura cu un subiect specific, familiar tuturor participantilor. Participantii sunt alesi aleatoriu sau deliberat in asa fel incat sa fie cat mai reprezentativi pentru o populatie.

Astfel, in procesul de identificare a cailor de imbunatatire a performantei, grupurile de dezbatere sunt utilizate pentru:

identificarea unor obstacole in realizarea indicatorilor de performanta ai unei entitati;

compararea atitudinilor, abordarilor si comportamentelor unor salariati cu performante deosebite, cu ale altora, care nu au dovedit astfel de performante;

invatarea din experienta si abilitatile unor lucratori cu performante deosebite in domeniu.

De precizat ca grupurile de dezbatere furnizeaza adesea idei, date si informatii utile pentru studiile de caz, precum si exemple, care vor fi utilizate in activitatile de instruire.

Organizarea grupurilor de dezbatere reprezinta un proces sistematic structurat in trei faze, dupa cum urmeaza:

a) Planificarea sedintei grupului de dezbatere

In aceasta faza, auditorul trebuie sa stabileasca scopul si obiectivele grupului de dezbatere si cine participa la dezbateri. Totodata, va elabora un plan de discutii.

Obiectivele pot fi: identificarea factorilor care afecteaza calitatea muncii, a problemelor cu care se va confrunta entitatea sau identificarea sarcinilor cheie, in realizarea performantei

Identificarea populatiei ce urmeaza a fi auditata

Participantii la grupurile de dezbatere

Pregatirea unui plan de discutii

Stabilirea locului

Stabilirea obiectivului auditului, il va ajuta pe auditor sa identifice populatia care detine informatiile necesare realizarii studiului in cauza. Important in continuare este sa se extraga un esantion reprezentativ pentru intreaga populatie, astfel incat dupa testarea acestuia, informatiile obtinute sa fie credibile si sa prezinte acuratete.

La dezbaterile grupului pot fi invitati, angajati cu experienta, care sa impartaseasca "secretele" succesului lor, membri ai conducerii sau chiar ai comitetului de conducere, care sa discute diferite aspecte privind functionarea managementului institutiei.

Grupurile de dezbatere trebuie sa fie omogene in sensul ca participantii vor avea nivele de pregatire profesionala apropiate si nu trebuie sa fie asistate de superiori in calitate de observatori.

Daca scopul studiului este compararea atitudinilor, abordarilor si comportamentelor celor cu performante deosebite, fata de cei care nu dovedesc aceleasi performante, sedintele grupului de dezbatere se pot programa in felul urmator:

organizarea unei sedinte comune a managerilor cu performante ridicate si a celor cu performante scazute pentru a culege pareri privind diferentele dintre cele doua categorii de participanti;

organizarea unei sedinte separate cu cei care au inregistrat performante ridicate pentru a explora si analiza succesul acestora;

organizarea unei sedinte cu managerii a caror performante sunt mai scazute, pentru a vedea diferentele fata de cei cu performante ridicate in ceea ce priveste atitudinea, comportamentul si abordarea activitatilor de care sunt responsabili.

In acest fel, grupurile de dezbatere pot fi utilizate pentru a compara si a pune fata in fata informatiile, in vederea obtinerii unor rezultate cat mai bune.

Pregatirea unui plan de discutii

Planul privind conducerea discutiilor intr-un grup de dezbatere va include atat intrebari principale cat si intrebari secundare, pentru a colecta un volum cat mai mare de date. Intrebarile trebuie adresate astfel incat sa genereze opinii si raspunsuri multiple si cat mai variate. Daca intrebarile nu sunt la obiect contributia fiecarui membru al grupului va fi limitata si nesemnificativa.

b) Coordonarea grupului de dezbatere

Pentru ca activitatea din cadrul unui grup de dezbatere sa-si atinga scopul, moderatorul trebuie sa aiba in vedere urmatoarele:

F   Sedintele trebuie organizate departe de sediul entitatilor auditate pentru a evita distragerea atentiei participantilor si a stimula concentrarea acestora asupra subiectului pus in discutie. Totusi, daca participantii provin din managementul unor institutii publice se poate utiliza ca loc de dezbatere sediul entitatii. Organizarea de intalniri la sediul Curtii de Conturi trebuie evitata, aceasta reprezentand o ultima solutie. Participarea la sedinte se va confirma in scris precizand scopul intalnirii, timpul, locul si durata acestora (intre doua ore si doua ore si jumatate).

Deschiderea sedintei

Inceperea dezbaterilor in grup

Controlul discutiilor

F   In deschiderea sedintei, moderatorul trebuie sa explice scopul studiului, cum si in ce fel au fost alesi participantii si cum vor fi utilizate rezultatele obtinute. In cazul sedintelor de dezbatere a performantelor scazute sau ridicate este necesar sa se pastreze discretia asupra modului de selectie a participantilor. De asemenea trebuie explicate regulile de desfasurare a dezbaterilor si sa se sublinieze importanta exprimarii libere, fara teama ca opiniile sa fie atacate verbal de catre participanti. Inca de la inceputul sedintei trebuie utilizat un flipchart ( tabla de scris ) pentru a se retine ideile si pentru a coordona discutiile. De asemenea, moderatorul trebuie sa se asigure ca participantii au inteles corect scopul dezbaterii, iar in cazul unor nelamuriri sa faca si clarificarile necesare.

La inceputul dezbaterilor in grup, moderatorul va cere participantilor sa se prezinte si daca este cazul, va solicita si unele informatii suplimentare, pentru a evidentia personalitatea fiecarui participant. In continuare, discutiile vor fi axate pe probleme personale cum ar fi: pasiuni, realizari etc. Aceasta abordare permite "incalzirea" participantilor, dupa care, de la intrebarile cu caracter general se poate trece la intrebari cu un anumit specific si cu un grad mai mare de detaliere.

In timpul dezbaterilor moderatorul trebuie sa admita si sa incurajeze toate contributiile participantilor, mai ales cand acestea sunt furnizate de participantii mai rezervati.

Moderatorul va parafraza ideile/informatiile mai complexe pentru a se asigura ca le-a inteles corect, dar in acelasi timp va evita exprimarea propriilor opinii (verbal sau in alte moduri). Este important ca, prin comentariile sale, moderatorul sa nu incerce judecarea sau aprecierea ideilor si informatiilor furnizate de catre participanti. In cazul in care unele informatii sau idei au fost exprimate confuz se vor formula intrebari orientate pe clarificari. Este necesar sa se clarifice termenii tehnici, jargonul si in general exprimarile confuze pentru a avea siguranta ca toti participantii au realizat o intelegere corecta a acestora.

Cand un membru al grupului exprima o idee noua, interesanta pentru studiu, trebuie urmarit modul in care este receptata de catre ceilalti participanti si in acelasi timp trebuie avut grija ca discutiile purtate in legatura cu aceasta sa devina o dezbatere. In momentul in care intervine un dezacord intre parti, moderatorul va sublinia ca diferentele de opinii sunt binevenite si ca participantii la grup nu trebuie sa realizeze neaparat un consens.

Esential este sa se ofere sansa fiecarui participant de a contribui la dezbaterea tuturor subiectelor sau problemelor discutate. In acest sens, moderatorul trebuie sa dea dovada de tact (incurajand participantii rezervati) si pricepere (diplomatie) pentru a deturna atentia de la participantii dominatori.

Incheierea sedintei

Transcrierea discutiilor

Organizarea si analiza datelor si informatiilor

Intocmirea raportului

Cand in cadrul grupului s-au discutat toate aspectele planificate sedinta se incheie, participantii fiind intrebati daca doresc sa mai discute sau sa sublinieze un anume aspect. Unii pot reveni si pot da informatii importante.

Un alt mod de a obtine informatii suplimentare este de a distribui foi pentru notite si de a cere participantilor sa noteze orice informatii suplimentare care ar putea contribui la realizarea obiectivului grupului de dezbatere.

c) Analiza si raportarea rezultatelor

Datele si informatiile obtinute se vor inregistra pe discheta, direct pe hard-driver-ul computerului sau chiar pe suport de hartie, punandu-se accentul pe acuratetea acestor inregistrari.

Se identifica si se noteaza raspunsurile comune cu temele sau ideile dezbatute. Un prim mod de organizare a datelor si informatiilor, il constituie decuparea din transcrierea discutiilor sau a raspunsurilor similare si introducerea acestora in plicuri etichetate cu tema sau ideea respectiva. Aceasta operatiune se poate realiza si pe computer prin utilizarea mai multor fisiere.

O alta metoda, mai simpla, este de a grupa raspunsurile la temele sau ideile dezbatute, si de a le depune pe mese.

Dupa ce materialul a fost grupat (organizat) se analizeaza din nou informatiile pentru a identifica subtemele si se intocmeste un raport care va cuprinde:

o scurta descriere a activitatii depuse;

o listare si o explicare a principalelor constatari;

concluzii.

Raportul trebuie sa fie clar si cat mai scurt posibil (1-2 pagini).

Chestionarele pentru interviuri structurate si documentari

Definire, utilitate, avantaje

Reprezinta un ansamblu de intrebari scrise la care se cer raspunsuri tot in forma scrisa in vederea obtinerii unor informatii despre o anumita problema.

Utilizarea acestei metode in audit prezinta avantajul abordarii unei populatii numeroase intr-un timp relativ scurt. In plus, prin el se informeaza personalul si conducerea entitatii auditate despre desfasurarea unui studiu/cercetare, la care sunt invitati sa participe.

Pentru a conferi credibilitate si seriozitate chestionarului se impune o anumita abilitate in formularea intrebarilor, evitandu-se cele ambigue, necorespunzatoare sau interpretabile.

Desi utilizarea chestionarului nu conduce la rezultate perfecte, totusi fata de alte metode, el este considerat un instrument util.

Formularea intrebarilor chestionarului

Intrebari inchise

Intrebari deschise

Formatul chestionarului

Scrisoarea de prezentare

In conceperea intrebarilor ce vor fi incluse in chestionar, auditorul porneste de la intrebarile principale ale studiului fiind preocupat sa formuleze intrebari usor de inteles si care sa nu sugereze raspunsul. Un chestionar trebuie sa cuprinda in majoritate intrebari inchise (la care se poate raspunde prin bifare) si intrebari deschise.

In mod obisnuit chestionarul trebuie sa inceapa cu intrebari mai usoare si sa continue cu intrebarile grele, iar la finalul acestuia este necesar sa se adreseze o intrebare deschisa de exemplu: Mai aveti ceva de adaugat in completarea celor spuse?

In cazul intrebarilor inchise cu un singur raspuns, cel chestionat poate alege bifand cu da sau nu unul din raspunsurile sugerate.

In prezentarea raspunsurilor posibile auditorii trebuie sa se asigure ca au fost enumerate toate variantele. De obicei, se include si o varianta de rezerva "altele" pentru a avea acoperire in situatia in care, totusi s-a omis ceva.

Cand nu este posibila folosirea unor intrebari cu un singur raspuns, se pot folosi intrebari care presupun raspunsuri multiple.

In cazul folosirii unor intrebari sub forma codurilor numerice inchise (cand acestea se refera la valori) se solicita valoarea exacta, daca auditorii considera ca intervievatii o cunosc. Daca auditorii presupun ca intervievatii nu cunosc valorile exacte, atunci vor solicita raspunsuri intre anumite limite.

De asemenea, se pot folosi si intrebari la care cei chestionati sa raspunda in functie de prioritati sau optiuni.

De obicei, intrebarile sunt ordonate pentru a evalua cat de puternice sunt opiniile. Se acorda atentie pentru a nu folosi ierarhii care sa sugereze intervievatilor un anumit raspuns. In general, se prefera sa se foloseasca o scala de 5, sau de 3, denumindu-se fiecare punct al scalei.

Chestionarele pot contine, de asemenea si intrebari deschise, chiar daca analizarea lor poate dura mai mult timp decat in cazul intrebarilor inchise.

Intrebarile deschise se folosesc pentru a indica opinii sau fapte .

De exemplu: se pot formula intrebari de genul: In opinia dumneavoastra care este motivul pentru.? Trebuie evitate intrebarile care sugereaza un anumit raspuns, de exemplu: Ineficienta sistemului a creat dificultati? De asemenea, nu se vor formula intrebari confuze cum ar fi: Cat de departe sunteti de finalizarea proiectului?, Calitatea serviciilor a fost buna?, precum si formularea a doua intrebari in acelasi timp, de exemplu: Misiunea si asteptarile implementarii programului sunt neclare? Tintele programului sunt clare si posibil de atins? Regulile sunt lipsite de ambiguitati si usor de urmat?

Se pot utiliza si intrebari filtru, de exemplu: .daca nu treceti la intrebarea nr. X.

Este important ca formatul chestionarului sa ofere celui chestionat, spatiu suficient pentru indicarea raspunsului, mai ales in cazul intrebarilor deschise. De asemenea, se va indica cat mai simplu si mai clar modalitatea in care trebuie raspuns: de exemplu, bifati una sau mai multe din casutele alaturate.

Auditorii trebuie sa formuleze numai intrebarile de care au nevoie, deoarece cu cat sunt mai multe, cu atat va creste timpul pentru completarea chestionarului dar si timpul pentru analizarea raspunsurilor. In general, chestionarele trebuie sa fie placute si usor de completat.

Fiecare chestionar trebuie sa fie insotit de o scrisoare de prezentare, care sa explice obiectivele chestionarului si sa comunice numele, numarul de telefon, adresa de e-mail si adresa persoanei de contact, pentru situatia in care cel chestionat are nevoie de informatii suplimentare. Scrisoarea va mai contine informatii privind returnarea chestionarului, inclusiv termenul si adresa de returnare.

Testarea si evaluarea chestionarelor

Testarea chestionarelor se realizeaza intr-o prima etapa prin participarea colegilor din structura care realizeaza auditul performantei, pe post de intervievati, care vor fi instruiti sa simuleze situatii de intelegere gresita a intrebarilor. In continuare chestionarele sunt testate pe potentialii intervievati. Dupa finalizarea acestor doua testari, auditorii evalueaza rezultatele pentru a constata cat de usor s-au completat chestionarele si eventual daca sunt intrebari care necesita ajustari pentru a deveni mai clare si usor de inteles.

Utilizarea metodelor de esantionare

In cazul in care studiul necesita colectarea de date si informatii de la un numar mare de persoane (intervievati) se poate utiliza o esantionare simpla, care presupune existenta unor sanse egale pentru fiecare element al populatiei de a fi selectat in esantion. Pentru extragerea unui esantion reprezentativ (care sa aiba caracteristici similare intregii populatii) se poate utiliza Excel-ul. Probele de audit obtinute vor fi convingatoare, daca rata raspunsurilor este mai mare de 60%. In cazul in care intervievatii nu au completat chestionarele acestia vor fi incurajati sa o faca.

Validarea datelor si informatiilor obtinute

Daca chestionarele sunt expediate de catre intervievati prin posta este necesar ca la primirea acestora raspunsurile sa fie introduse in computer, folosind diverse formate de tabele in care fiecare chestionar va primi un numar de referinta. Un membru al echipei altul decat cel care a introdus datele va verifica daca acestea au fost corect introduse. In aceasta etapa se pot identifica unele aspecte mai deosebite cum ar fi: la intrebarea nr.5 in majoritatea chestionarelor s-a raspuns prin bifarea casutei 3. Se intalnesc si situatii cand pentru clarificarea unor raspunsuri auditorii trebuie sa ia legatura cu intervievatii.

Observarea

Aceasta metoda presupune instruirea unor auditori care vor realiza observatii directe asupra diferitelor procese, asupra comportamentului managementului sau a personalului unei entitati si chiar asupra cladirilor etc. Observarea se realizeaza pe baza unei liste de obiective stabilite inaintea inceperii acestei activitati.

Rezultatele observatiilor efectuate de diferiti observatori in diferite momente, se vor examina incrucisat pentru a fi evitate acele observatii partinitoare.

Sintetizarea si codificarea probelor de audit obtinute

Se folosesc diagrame si matrice

Sintetizarea, analizarea si interpretarea probelor de audit

Sintetizarea datelor si informatiilor

Sintetizarea probelor de audit, respectiv a datelor si informatiilor colectate, presupune organizarea lor, dupa cum urmeaza:

F   sub forma de tabele - datele statistice, rezultatele observatiilor, raspunsurile la intrebarile inchise ale interviurilor si chestionarelor;

F   codificarea (clasificarea pe teme si idei) a observatiilor narative, a rezultatelor examinarii documentelor, a notitelor din timpul interviurilor si grupurilor de dezbatere si a raspunsurilor la intrebarile deschise ale chestionarelor. Important este ca, dupa sintetizarea probelor de audit, auditorii sa efectueze o evaluare a acestora pentru a stabili cat sunt de convingatoare. Interpretarea probelor de audit presupune evaluarea semnificatiei constatarilor si a raspunsurilor la intrebarile studiului.

In practica codificarea, respectiv structurarea si organizarea datelor scrise, are drept scop facilitarea efectuarii analizelor. Datele si informatiile, sunt codificate in functie de teme si idei, astfel incat sa se poata realiza comparatii si alte analize. Concret, se citesc textele si se noteaza temele si ideile care se repeta facandu-se comentariile de rigoare. Textele se citesc din nou si se repartizeaza coduri corespunzatoare temelor si ideilor notate mai inainte, dupa care datele se introduc intr-un tabel. Este important ca acest proces de codificare sa fie executat cu rigurozitate si precizie evitandu-se suprapunerile sau orice fel de confuzii.

Astfel, pentru a sintetiza datele si informatiile dintr-un proces in vederea interpretarii lor, se pot utiliza matrice si diagrame.

Exemplu - sinteza datelor si informatiilor procesului de contractare.

Analizarea datelor si informatiilor

Cercetare obiectiva bazata pe descompunerea in componente

Evaluarea constatarilor vis-a-vis de asteptarile unui program sau activitati

Proces de comparare a metodelor, proceselor, a preturilor, produselor si serviciilor unei entitati cu cele ale altei entitati

Se compara situatia existenta inaintea demararii programului cu situatia dupa implementarea acestuia

O distributie a datelor intr-un grafic care ilustreaza evolutia variabilelor

Analizele reprezinta o cercetare obiectiva (cantitativa si calitativa) bazata pe descompunerea in elemente componente a proceselor si fenomenelor economice, precum si a factorilor de influenta, in scopul cunoasterii in amanunt a intregului proces sau fenomen economic.

Procesul auditului performantei nu reprezinta un sir de activitati clar definite, ci mai degraba o serie de operatii care sunt realizate fie separat, fie combinate.

In practica de cele mai multe ori acestea se efectueaza gradual, dar exista si situatii cand se realizeaza simultan.

De aceea, punctul de plecare in desfasurarea auditului trebuie ales cu maxima atentie, avand in vedere si necesitatea efectuarii analizelor (evaluarilor).

In general, constatarile auditului pot fi evaluate cunoscand asteptarile unei anumite actiuni/activitati si luand in consideratie perspectiva imbunatatirii eficientei si eficacitatii. Aceasta presupune consolidarea argumentelor si afirmatiilor formulate, prin consultarea cu experti, specialisti si chiar cercetatori sau efectuand comparatii si analizand cauza si efectul.

Astfel, cand analizam informatiile si datele obtinute dupa realizarea unui interviu, principala preocupare, este aceea de a selecta ceea ce s-a discutat pe diferite categorii de subiecte. Auditorii vor cauta sa identifice partile comune ale informatiilor, aspectele care au o caracteristica comuna si vor realiza clarificarile necesare.

Prin studierea documentelor entitatilor, in special a celor legate de un anumit program sau activitate, auditorii cauta sa colecteze atat informatii descriptive cat si rezultatele unor analize efectuate in cadrul entitatilor auditate.

Datele colectate se analizeaza in mai multe feluri insa doua dintre acestea au o frecventa de utilizare mai mare.

a) Analiza comparativa (Benchmarking)

Aceasta analiza reprezinta un proces de comparare a metodelor, proceselor, procedurilor, a preturilor produselor si serviciilor specifice unei entitati cu cele ale altor entitati, care se incadreaza in aceeasi clasa de performanta.

Analizele comparative sunt in mod obisnuit utilizate pentru:

- identificare unor cai de imbunatatire a performantelor;

- examinarea evolutiei tendintelor;

- cresterea credibilitatii recomandarilor auditului.

Auditorii pot face comparatii intre subiectii care opereaza bine si cei care opereaza mai putin bine, intre doua sau mai multe aspecte si activitatea de ansamblu a entitati si chiar intre activitati similare ale entitatilor din tari diferite.

b) Analizele "inainte si dupa"

Intr-un studiu "inainte si dupa" situatia existenta inaintea demararii programului/activitatii ce face obiectul auditului, este comparata cu situatia rezultata dupa implementarea programului sau finalizarea unei anumite activitati.

Astfel, un studiu simplu "inainte si dupa" se realizeaza prin compararea rezultatelor unui set de masuri aplicate asupra unui segment (esantion) al programului/activitatii auditate, inainte ca acesta/aceasta sa inceapa, cu rezultatele aceluiasi set de masuri, aplicate asupra aceluiasi segment (esantion), dupa o perioada suficient de lunga de la demararea programului.

Impactul este estimat prin compararea estimarilor indicatorilor performantei, aferenti celor doua etape.

Tehnici statistice pentru analiza informatiilor

In general, analizarea datelor si informatiilor constituie un proces logic, creativ, care include atat elemente de ordin obiectiv (rationale) cat si elemente de ordin subiectiv (irationale). De aceea, aplicarea rationamentului profesional al auditorilor este esential in evaluarea corecta a situatiei de ansamblu a programului sau activitatii auditate. De cele mai multe ori, auditorii sunt nevoiti sa aplice atat tehnici de analiza calitativa cat si tehnici de analiza cantitative.

In continuare prezentam doua din cele mai uzitate tehnici (de analiza) cantitative

a) Statisticile descriptive pentru intelegerea distributiei datelor si informatiilor

In mod obisnuit tehnicile statistice prin care se studiaza modul de distributie al datelor pot constitui instrumente de baza in cadrul analizelor pe care le presupune un proces de audit.

O distributie a datelor poate fi exprimata printr-un grafic, care ilustreaza toate valorile unei variabile.

In practica se utilizeaza trei coordonate de baza pentru distributia datelor si anume:

- nivelul pe care se afla datele (primul, al doilea, al treilea etc.);

- distributia datelor (valori minime si maxime, serii, siruri etc.);

- forma de prezentare a datelor care poate fi distributie normala, liniara sau combinata.

Distributia este frecvent utilizata pentru:

identificarea nivelului, gradului sau formei de desfasurare a datelor;

stabilirea daca o variabila a performantei intruneste sau nu criteriile de audit;

interpretarea repartizarii probabile a evaluarii riscului;

evaluarea gradului de reprezentativitate a esantionului extras dintr-o populatie.

Evaluarea nivelului de corelare a variabilelor

b) Analiza regresiilor

Aceasta analiza se foloseste pentru evaluarea nivelului de corelare a variabilelor si este frecvent utilizata pentru:

testarea relatiei presupusa a fi adevarata;

identificarea conexiunilor dintre variabile care au o relatie cauzala si pentru explicarea impactului acestora;

identificarea situatiilor neobisnuite cand de regula sunt depasite valorile scontate (asteptate);

efectuarea de prognoze asupra evolutiei valorilor in timp.

Metodele analitice utilizate in analiza datelor si informatiilor

In auditul performantei se inregistreaza o gama larga de abordari sau modele analitice pentru analizarea datelor. Problemele economicitatii, eficientei si eficacitatii pot fi evaluate printr-o varietate de analize, aceasta datorita in principal complexitatii relatiilor cauza - efect, care presupune combinarea unui numar mare de variabile.

De aceea, metodele de cercetare si abordarile analizelor trebuie alese cu atentie si adaptate fiecarei situatii in parte. Aceasta presupune ca fiecare problema sa fie analizata separat tinand cont de evolutia conditiilor in care se manifesta.

Se intalnesc mai multe tipuri de analize, dintre care cele mai utilizate sunt:

a) Analiza nivelului de indeplinire a obiectivelor

Se utilizeaza in principal pentru a determina daca obiectivele stabilite au fost atinse, precum si pentru identificarea acelor factori, care au condus la realizarea mai rapida sau mai putin rapida a acestora.

Orice abatere de la derularea in bune conditii a unui program sau a unei activitati, poate fi stabilita prin raportarea rezultatelor si impacturilor la obiectivele si cerintele prestabilite.

In cadrul auditului performantei auditorii folosesc studiile privind realizarea obiectivelor atunci cand, acestea sunt clar definite, iar atingerea lor constituie un scop al managementului entitatilor. Ele pot deveni un instrument important al conducerii, acolo unde nu exista suficiente cunostinte despre efectele unei activitati.

Analiza rezultatelor comparate cu obiectivele stabilite poate oferi o imagine asupra modului in care aceste obiective au fost atinse. Totusi, rezultatele obtinute nu pot constitui singure o solutie satisfacatoare pentru evaluarea completa a unui program sau activitate, de aceea este necesar ca acestea sa fie coroborate cu rezultatele altor modele analitice.

Relatiile dintre costuri si beneficiile proiectate

b) Analizele cost-beneficiu

Aceasta analiza se realizeaza prin studiul relatiilor dintre costurile realizate si beneficiile obtinute in mod obisnuit. Studiile se realizeaza, prin exprimarea costurilor si beneficiilor in unitati monetare.

Scopul analizei cost-beneficiu este sa evalueze daca veniturile inregistrate de o entitate, program sau activitate, sunt mai mari decat costurile si ating nivelul planificat.

Analiza se utilizeaza pentru:

obtinerea asigurarii ca analizele efectuate in cadrul entitatilor respecta standardele profesionale;

compararea costurilor si beneficiilor cand ambele sunt cunoscute sau pot fi estimate;

compararea costurilor alternative in conditiile in care se presupune ca beneficiile asteptate vor fi aceleasi;

Efectuata corespunzator, analiza cost-beneficiu, trebuie sa ia in consideratie nu numai costurile si beneficiile vizibile, in general usor de masurat, cat si pe cele ce au legatura cu protectia mediului.

Relatia dintre costurile, proiectele si rezultatele exprimate in costuri pe unitatea de rezultate

c) Analizele cost-eficacitate

Analizele cost-eficacitate, se efectueaza asupra relatiilor dintre costurile proiectelor si rezultatele exprimate in costuri pe unitatea de rezultat obtinut. In timp ce analiza cost-beneficiu, permite auditorilor sa compare eficienta economica a programelor/
activitatilor, analiza cost-eficacitate se concentreaza asupra identificarii celor mai avantajoase mijloace de atingere a obiectivelor definite in conditiile unui nivel maxim de cheltuieli alocate.

Fata de analiza cost-beneficiu in care atat costurile cat si beneficiile sunt exprimate in unitati monetare, in cadrul analizei cost-eficacitate componentele respectiv costurile, beneficiile si rezultatele sunt exprimate mai degraba in unitati fizice decat in unitati monetare.

Analiza cauzelor si efectelor

Dupa sintetizarea si analizarea probelor de audit auditorii vor trece la interpretarea acestora printr-un procedeu care presupune luarea in considerare a patru elemente esentiale:

criteriu: Ce ar trebui sa fie? - criteriul poate fi stipulat in legi sau reglementari sau in acord cu cele mai bune practici in domeniu si in general reprezinta ceea ce planifica entitatea sa realizeze (sa obtina);

conditia: ce este, respectiv activitatea entitatii, rezultatele obtinute (iesiri) si/sau efecte?

cauza;

efectul.

Studierea cauzelor

Dupa identificarea cauzelor si efectelor auditorii pot utiliza o matrice proces-efect, pentru a intelege cum un anumit proces determina sau influenteaza efectul.

Aceasta activitate se realizeaza, prin utilizarea unei matrice* astfel:

se descriu probele de audit care sustin ca efectul este determinat sau este influentat de proces;

se descriu probele de audit care nu sustin ca efectul este determinat sau influentat de proces;

se testeaza relatiile proces-efect, in cazul probelor de audit care dau nastere la indoieli.

In cazul in care pentru o relatie proces-efect nu exista probe de audit, se lasa loc liber.

In continuare se identifica eventualele diferente dintre conditii si criterii, analizandu-se cauzele la 4 nivele, astfel se analizeaza si se constata daca:

La nivel individual

personalul a fost incompetent sau nepasator;

personalul nu a fost motivat.

La nivelul echipei de lucru

s-a inregistrat un grad scazut de supervizare;

s-a inregistrat un grad scazut de revizuire.

La nivel organizational

Managementul a fost dezinteresat;

Procesul de recrutare a fost neperformant;

Pregatirea profesionala a fost inadecvata.

La nivelul mediului

Legislatia a fost complexa;

Resurse inadecvate (salarii, timp alocat).

Studierea efectelor mai importante, precum si a relatiei cauza-efect.

Auditorii trebuie sa identifice si sa analizeze efectele cele mai importante pe care le vor compara cu costurile si beneficiile programelor sau cu alte efecte neasteptate. In practica, daca se constata ca atat cauza cat si efectul apar in mod repetat in timpul implementarii unui program sau realizarii unei activitati se poate formula o concluzie.

De multe ori, constatarile se pot referi si la efectele achizitionarii unor produse sau tehnologii scumpe sau la acordarea unor facilitati neproductive.

Pot fi de asemenea importante si constatarile care privesc lipsa sau ineficienta controalelor interne, lipsa de preocupare manifestata de management in derularea unor programe sau adoptarea unor decizii nefundamentate. De regula, una sau mai multe constatari pot sustine o concluzie si una sau mai multe concluzii constituie baza pentru formularea unei recomandari. In situatia in care auditorii constata ca atat cauza cat si efectul se repeta, atunci deja trebuie sa se formuleze concluzii si recomandari. In mod obisnuit constatarile sustin concluziile, iar una sau mai multe concluzii constituie baza pentru formularea unei recomandari.

Confirma ca auditul s-a realizat in conformitate cu standardele privind

auditul performantei

Baza pentru asigurarea controlului calitatii auditului

Documente relevante intocmite pe parcursul procesului de audit

Legatura intre activitatea in teren si cea de raportare

Asigura conducerea eficienta a auditurilor

Complete si intocmite cu acuratete

Clare si concise

Utilizarea unor formate standard

Prezentate ingrijit si citet

Relevante

Organizate si prezentate intr-o structura logica

Codificate pentru a usura accesul

Documentele de lucru trebuie organizate si prezentate intr-o structura logica. De aceea trebuie implementat un index logic, care sa le faca usor de urmarit. Indexarea alfabetica si completarea la timp a acestora, promoveaza o eficientizare a sistemului de referinta, care ajuta la evitarea consemnarii in mod repetat in documente a unor informatii si date.