מדד לקביעת רמת האפקטיביות של הביקורת הפנימית

מאמר זה הוא מאמר ראשון (מתוך שני מאמרים). המאמר השני יביא בחינה אמפירית של גורמי האפקטיביות.

שאלת המחקר המרכזית שעליה מנסה מאמר זה להשיב עניינה בפיתוח כלי להערכה ומדידה של אפקטיביות הביקורת הפנימית שבאמצעותו ניתן לבחון את הקשרים בין המאפיינים של הביקורת הפנימית לבין האפקטיביות שלה.

המאמר מתמקד בתופעה של אפקטיביות הביקורת הפנימית ברשויות המקומיות מנקודת מבט של צרכני הביקורת. תהליך המחקר כלל איסוף נתונים בעזרת שאלון המיועד לראש הרשות/מנכ"ל הרשות. והועבר ל-110 רשויות מקומיות. 47 רשויות הסכימו להשיב על השאלון, ולכן בסך הכול עמד אחוז ההחזר הכללי בתום איסוף הנתונים על 42.7%. מאפייני אוכלוסיית המדגם תואמים במידה רבה את מאפייני אוכלוסיית המחקר הרחבה ומצביעים על מידה גבוהה למדי של ייצוגיות.

ממצאי המחקר העיקריים מראים כי:

  • מדדי האפקטיביות של הביקורת הפנימית השונים שפותחו, עמדו בקריטריונים סבירים של תוקף ומהימנות.
  • רמת האפקטיביות של הביקורת הפנימית ברשויות המקומיות היא בינונית ומטה. פיתוח מדדים לאפקטיביות של הביקורת הפנימית יוצר תשתית תיאורטית לניתוח התופעה של אפקטיביות הביקורת הפנימית ברמת הרשות המקומית/הארגון. כמו כן, יש בממצאי המחקר משום תרומה לפיתוח הידע בתחום חקר פונקציית הביקורת הפנימית וביצועיה.

 א. מהי אפקטיביות הביקורת הפנימית?

ניתוח קיומה והתפתחותה של הביקורת הפנימית מוביל למסקנה שהיא מהווה סיוע ושירות להנהלה ולארגון מחד גיסא, ומתן דגש לבחינת הבקרות מאידך גיסא. גם המודלים הפורמליים של Antle (1982) ושל Wallace (1985) מראים שפונקציית הביקורת הפנימית היא, בין היתר,  שירות כלכלי. ברמה המושגית גישת המחקר לאפקטיביות של הביקורת הפנימית יונקת מהמודלים של אפקטיביות המטפלים בשביעות רצון של השותפים (participant satisfaction) כפי שפותחו על ידי Georgiou (1973) ו-Cummings (1977). כלומר, המדובר הוא באפקטיביות כפי שהיא נתפסת על ידי ההנהלה בארגון בבואה להעריך את הפעולות של הביקורת הפנימית וטיב השירות המתקבל ממנה.

ברמה התיאורטית קיימות שתי גישות לניתוח האפקטיביות של הביקורת הפנימית: הראשונה מתייחסת למאפיינים של הביקורת הפנימית כבסיס וגוזרת מהם את המרכיבים של האפקטיביות והאיכות של הביקורת; הגישה השנייה, בניגוד לראשונה, אינה מתבססת על נותן שירותי הביקורת – הביקורת הפנימית – אלא על הצרכן/ההנהלה של שירותים אלה. בגישה זו הערכת שירותי הביקורת על ידי הצרכן קובעת את האפקטיביות של שירות זה. מכיוון שהביקורת הפנימית היא שירות ניהולי וגם הערכה בלתי תלויה של הפעילויות בארגון, יש לשפוט את האפקטיביות שלה מנקודת ראות של הצרכן ועל סמך קריטריונים תקפים (רלוונטיים). החקר האמפירי של תופעת הביקורת הפנימית והאספקטים השונים שלה הוא חדש יחסית, ולמעשה נמצא בתחילת דרכו.

ב. המסגרת המושגית והרקע המדעי להערכה/מדידה של אפקטיביות הביקורת הפנימית

אחת המטרות של המחקר הנוכחי היא לאתר ולזהות את הקריטריונים של אפקטיביות הביקורת הפנימית המשמשים את הנהלת הרשות המקומית בבואה להעריך את עבודת הביקורת הפנימית והתפוקות שלה. גישה זו שהדריכה את Albrecht וחבריו בעבודתם, מורחבת במחקר זה כדי לפתח מדדים מקוריים ומיוחדים לאפקטיביות של הביקורת הפנימית (Internal Audit Effectiveness Indexes). במחקר זה אותרו, זוהו ונבחרו 24 קריטריונים ששימשו אותנו כבסיס למדידת ממדיה השונים של אפקטיביות הביקורת הפנימית: ממד סביבת הביקורת (Audit Environment), ממד תשומה הביקורת (Audit Input), ממד תהליך הביקורת (Audit Process) , וממד תפוקת הביקורת (Audit Output).

פיתוח של מדידה לאפקטיביות ולביצועים של הביקורת הפנימית נדרש כתוצאה משלוש הסיבות הבאות: הצורך בבחינת המותאמות של עבודת הביקורת הפנימית לסטנדרטים בעיסוק בביקורת פנימית; הצורך להראות שהיא מוסיפה ערך לארגון; הצורך במתן מענה לסביבה הגלובלית המשתנה. Kaplan & Norton (2000) התייחסו לצורך, לחשיבות, ולמטרות של מדידת ביצועים ביחידות ארגוניות. ניתן לציין את המטרות הבאות בפיתוח מדדים: (1) מדדי ביצוע מספקים מכניזם המאפשר לייחס את התהליכים המתרחשים ביחידת הביקורת הפנימית למדיניות של הדרג הניהולי הבכיר ברשות המקומית, וכן לשאול האם הביקורת הפנימית מתפקדת בהתאם למצופה ממנה. (2) הערכת פעולותיה של הביקורת הפנימית במסגרת פעולות הבקרה המתבצעות על ידי הרשות המקומית. (3) מידע על פעילויות הביקורת הפנימית כדי לוודא מהן נקודות התורפה ומהן הנקודות הטובות. (4) לתת מענה על פעילות הביקורת הפנימית לכל אלה שמתעניינים ברשות המקומית או שיש להם אינטרס ברשות (stakeholders .(5 – הערכת איכות עבודתה של הביקורת הפנימית ביחס לנדרש ממנה בתוך הארגון, כך שאיכות זו תישמר או תשתפר. (6) הנעה ותגמולים שונים לעוסקים בביקורת פנימית.

במחקר זה, החשיבות והצורך בפיתוח מדדים לממדיה השונים של אפקטיביות הביקורת הפנימית נותנים מענה על שלושה דברים מרכזיים:

א. יצירת מודל להסבר וניתוח אפקטיביות הביקורת הפנימית וגורמיה, בעל מדדים כמותיים המותאמים לצורכיהם של המבקרים הפנימיים והדרג הניהולי ברשות המקומית/ארגון.

ב. בחינת מודל החוקר את אפקטיביות הביקורת הפנימית על סמך נתונים אמפיריים הנאספים על ידי שאלון תקף ומהימן.

ג. יצירת מסגרת מחקרית אמפירית לניתוח אפקטיביות הביקורת הפנימית ברשויות המקומיות ולניתוח תהליכים אחרים הנוגעים לביקורת הפנימית המתרחשים ברשות.

פיתוח המדדים לבדיקת אפקטיביות הביקורת הפנימית בארגון נעשה בשלושה שלבים: בשלב ראשון נקבעו באופן סופי מהם הקריטריונים שיש לקחת בחשבון במדידה. בשלב השני נקבעה הרשימה הסופית של הקריטריונים על סמך הגישה שננקטה במחקרים רבים, ובהם אלה של Lampe & Sutton (1994) ושל Ziegenfuss (2000). השלב השלישי התייחס להערכה הניתנת לכל אחד מהקריטריונים על ידי הדרג הניהולי ברשות המקומית והיא נגזרה מתוך השאלון שהופנה לאותו דרג.

ג. מסגרות אמפיריות קודמות לחקר האפקטיביות של הביקורת הפנימית 

ניסיון לפיתוח מדד למדידת הביצועים והאפקטיביות של מחלקות הביקורת הפנימית בארגונים נעשה על ידי  Ziegenfuss(2000). הוא זיהה בעבודתו את  המדדים המועילים ביותר להערכת האפקטיביות של מחלקות ביקורת פנימית ואת אלה שהם חיוניים להבטחת הצלחתה של הביקורת הפנימית. 20 מדדי הביצוע שדורגו ראשונים הם: ניסיון עובדי הביקורת; הערכת הביקורת על ידי ועדת הביקורת; ציפיות ההנהלה מהביקורת הפנימית; אחוז היישום מתוך כלל המלצות הביקורת; רמת ההשכלה של עובדי הביקורת; סקר שביעות רצון של המבוקרים; חשיבות סוגיית הביקורת שנבדקה; שעות ההכשרה והשתלמות בממוצע למבקר; סקר שביעות רצון של ועדת הביקורת; סטטוס ארגוני ויחסי דיווח; עניין שמגלה ועדת הביקורת בסיכוני בקרה; מספר התלונות על מחלקת הביקורת הפנימית; תפקיד הביקורת כפי שהוא נתפס על ידי המבוקר; מספר הדרישות לביקורת מטעם ההנהלה; אחוז עובדי הביקורת בעל הסמכה במקצוע הביקורת הפנימית; טכניקות הבטחת איכות שפותחו; קיום מפגשים פרטיים בין מנהלי הביקורת לבין ועדת הביקורת; אינטגרציה של טכנולוגיית המידע בביקורת הפנימית; מספר ממוצע של שנות ניסיון בביקורת. עבודתו של Ziegenfuss מראה עד כמה מדידות של ביצועי הביקורת מהוות נושא חיוני לכל אלה העוסקים בביקורת פנימית. מדידות אלה מאפשרות לקבל מידע על עבודת הביקורת, לערוך השוואות ולפקח על מגמות קיימות. כל אלה עשויים להיות גורמים חשובים כדי לשמור על מחלקות ביקורת פנימית אפקטיביות ובעלות איכות גבוהה בעבודת הביקורת.

ד. ניתוח משתני המחקר

בעיה מרכזית עלתה עם הצורך לאתר מדדים מתאימים לבחינת האפקטיביות של הביקורת הפנימית. עיקר הבעייתיות נובע להערכתי מהמיעוט של חוקרים בתחום ומחוסר ניסיונות אמפיריים לפתח מדדים לבחינת אפקטיביות שיענו על דרישות התקפות והמהימנות כדי שניתן יהיה להשתמש בהם כבסיס מדעי למחקרים בביקורת פנימית. בפיתוח כלי זה ההתייחסות לאפקטיביות הביקורת הפנימית היא מנקודת המבט של הנהלת הארגון. גישה זו באה לידי ביטוי בעבודות של Albrecht et al. (1988) ושל  Ziegenfuss(2000). כלומר, האפקטיביות של הביקורת הפנימית מיוצגת על ידי הערכה/מדידה שלה כפי שהיא נתפסת על ידי ההנהלה/הצרכן של שירותי הביקורת הפנימית.

ה. אפקטיביות הביקורת הפנימית (Internal Audit effectiveness)

24 הקריטריונים ששימשו אותנו במחקר זה לבניית השאלון על אפקטיביות הביקורת הפנימית הם: ממצאים הגיוניים ומשמעותיים, המלצות תואמות ומשמעותיות, מקצועיות של מחלקת הביקורת הפנימית, היעדר הפתעות, דוח המבקר הפנימי, מרכיב הביקורת בתהליך קבלת החלטות, גישת הביקורת הפנימית בבדיקת הנושאים המבוקרים, ביקורת פנימית כמרכז מידע בעל ערך, היזון חוזר מהמבוקרים, הערכה של עבודת הביקורת על ידי גופי ביקורת חיצוניים, היזון חוזר מהדרג הניהולי התפעולי, ההערכה של הביקורת הפנימית על ידי ועדת הביקורת, התרעה בשער, יצירת עניין אצל צמרת הניהול ברשות המקומית, צמידות לתכנית ביקורת, עלות-תועלת של הביקורת הפנימית, פיתוח המשאב האנושי, מספר בקשות לביצוע ביקורת, פרק הזמן העובר בין סיום משימת הביקורת לבין הגשת הדוח הסופי, מחשוב עבודת הביקורת, שימוש בתכנות ביקורת, שימוש בשיטות ובטכניקות ביקורת מתקדמות, אחריות המוטלת על המבקר הפנימי, שימוש בשיטות עבודה התואמות את הסטנדרטים לעיסוק במקצוע הביקורת הפנימית.

על סמך רשימת הקריטריונים הנ"ל נגזרו ונוסחו השאלות בשאלון המיועד לראש הרשות/מנכ"ל  של הרשויות המקומיות שבמדגם, כאשר סולם המדידה לגבי כל פריט הוא אורדינלי: 1 = כלל לא מסכים (המעיד על הערכה נמוכה מאוד) עד 4 = מסכים בהחלט (המייצג הערכה גבוהה מאוד).

ו. ממצאים

  1. פיתוח משתני המחקר

במהלך פיתוחם של משתני המחקר נעשה שימוש בפרוצדורות סטטיסטיות של בחינת מהימנות פנימית (בין פריטים) על פי מדד אלפא של קרונבך (α Cronbach) וכן בתהליך של ניתוח גורמים מגשש (Principal components with Varimax Rotation Exploratory Factor Analysis) ששימש אותנו לפתח את הגרסה הסופית של מדדים לממדי אפקטיביות של הביקורת הפנימית.

2. פיתוח מדדים לאפקטיביות של הביקורת הפנימית

פיתוח המדדים לאפקטיביות של הביקורת הפנימית התבסס על סמך המסגרות המושגיות, התיאורטיות והאמפיריות לחקר האפקטיביות של הביקורת הפנימית. מדדיה השונים של אפקטיביות הביקורת הפנימית כפי שפותחו מוצגים להלן, ופריטי המדידה נמצאים בנספח א.

2.1 סביבת הביקורתAE Audit Environment

ניתוח אינדקס זה מצביע על תחומי סביבת הביקורת הבאים: תמהיל הביקורת, תכנון הביקורת, שביעות רצון של ההנהלה, הבטחת איכות, הערכת עבודתה של הביקורת. תחומים אלה מגדירים היטב את סביבת הביקורת (2000, Ziegenfuss).

2.2 תשומת הביקורת – Audit Input AI

מדד זה מתייחס לתשומת הביקורת הבאה לידי ביטוי על ידי כמות הביקורת, איכות הביקורת ומשאבי הביקורת. הפריטים המרכיבים מדד זה הם בעלי אותו עולם תוכן המתייחס לממדיו השונים של משאב הביקורת הפנימית. מדד זה אפשר לנו לבחון את אפקטיביות הביקורת הפנימית ברשות המקומית תוך הסתכלות על משאב הביקורת.

2.3 תהליך הביקורת – Audit Process AI

מדד תהליך הביקורת בא לבחון את האפקטיביות של הביקורת הפנימית תוך התבססות בעיקר על אופן ביצוע עבודת הביקורת.

2.4 תפוקת הביקורת Audit Output AO

מדד תפוקת הביקורת מתייחס בעיקר לאיכות הממצאים ועיתוי דוחות הביקורת ודייקנותם.

2.5 מדד כללי לאפקטיביות הביקורת הפנימית OI Overall Index

זהו המדד הכללי לאפקטיביות הביקורת הפנימית על כל ממדיה ברשויות המקומיות. המדד מורכב מכל הפריטים (25 פריטים) ששימשו אותנו למדוד את ממדיה השונים של אפקטיביות הביקורת.

  1. מאפיינים פסיכומטריים של מדדי המחקר

 3.1 מאפיינים פסיכומטריים של מדדי האפקטיביות

המחקר בחן את המאפיינים הפסיכומטריים של מדדי האפקטיביות של הביקורת הפנימית, כולל בחינת המהימנות α Cronbach. הבדיקה העלתה מספר ממצאים ראשונים ביחס לטיב המדדים שהורכבו. ראשית, ניתן להבחין כי הערכים הממוצעים של מדדי האפקטיביות של הביקורת הפנימית השונים (המשתנים התלויים) גבוהים יחסית. משמעות ממצא זה היא שקיימת רמה בסיסית מסוימת של עבודת הביקורת הפנימית שרכשה לה במשך השנים דפוסי עבודה אחידים ומקצועיים. כמו כן, קיים פיזור יחסית טוב וסביר של  התשובות המפיג במידה רבה את החששות הראשוניים לאחידות בתשובות ביחס למדדי אפקטיביות של הביקורת הפנימית. לסיכום, מהימנותם של מדדי האפקטיביות של הביקורת הפנימית הייתה גבוה מאוד.

3.2 רמת האפקטיביות של הביקורת הפנימית ברשויות המקומיות

רמת האפקטיביות של הביקורת הפנימית ברשויות המקומיות נמדדה, כאמור, באמצעות שאלון שהועבר לדרג הניהולי הבכיר (ראש הרשות/מנכ"ל) ברשות המקומית. רמה זו נמדדה לגבי כל התחומים שבהם האפקטיביות באה לידי ביטוי: ממדי סביבת הביקורת AE, תשומת הביקורת AI, תהליך הביקורת AI, וממד תפוקת הביקורת.

רמת האפקטיביות נעה בין ציון 1 לציון 4 (סקלת השאלון) והיא חושבה לגבי כל ממד כציון ממוצע של פריטי השאלון המייצגים ממד זה. כמו כן, חושבה הרמה הכללית של אפקטיביות הביקורת הפנימית על ידי חישוב ציון ממוצע של כלל הפריטים שמהם הורכב השאלון.

רמת האפקטיביות הוגדרה על פי ממוצע הציונים: 2-1 אפקטיביות נמוכה; 3-2 אפקטיביות בינונית; 3.5-3 אפקטיביות גבוהה; 4-3.5 אפקטיביות גבוהה מאוד.

ממצאי רמת האפקטיביות של הביקורת הפנימית ברשויות מקומיות מוצגים בתרשים מס' 1 שלהלן.

 

תרשים מס' 1 – רמת האפקטיביות של הביקורת הפנימית ברשויות המקומיות לפי ממדי   האפקטיביות

 

נתוני התרשים מצביעים על רמת אפקטיביות בינונית ומטה ברוב הרשויות המקומיות שנבדקו במדגם ולגבי כל אחד מממדי האפקטיביות בנפרד. המדד הכללי מצביע על רמה בינונית של אפקטיביות הביקורת הפנימית ב-30 רשויות מקומיות מתוך 47 רשויות של המדגם (כ-ֿ62% מסך כל הרשויות). רמת אפקטיביות גבוהה נמצאה ב-14 רשויות מקומיות (כ-ֿ30% מסך כל הרשויות) וגבוהה מאוד בשלוש רשויות בלבד (כ-ֿ8% מסך כל הרשויות).

סיכום ומסקנות

ביקורת פנימית אפקטיבית תורמת הן לאפקטיביות עבודתו של המבוקר והן באופן כללי לאפקטיביות ארגונית (2001, Dittenhofer). רוזביץ (1999, 101) טען כי "אחת הסוגיות המורכבות בביקורת המקצועית היא שאלת האפקטיביות של הביקורת. לאמור, האם הביקורת – חיצונית או פנימית – היא אפקטיבית". המסקנה המתבקשת היא שאפקטיביות הביקורת הפנימית מהווה את הליבה בכל דיון על הביקורת הפנימית (1995, Sawyer).

מה מבטאת אפקטיביות הביקורת הפנימית, מהם רבדיה, ומה רמת הניתוח הנדרשת להבנתה? האם ניתן לזהות את הקריטריונים המשמשים להערכת אפקטיביות הביקורת הפנימית על ידי הדרג הניהולי הבכיר? האם ניתן לפתח כלי מדידה תקף ומהימן כדי למדוד את ממדיה השונים של האפקטיביות? עבודה זו ניסתה לספק תשובות ראשוניות לשאלות אלה, בהציעה כלי מדעי לבחינת התופעה של אפקטיביות הביקורת הפנימית. כלי זה נבחן אמפירית על בסיס נתונים מקוריים שנאספו ב-47 רשויות מקומיות בישראל.

ראשית, נדגיש שהגישה התיאורטית למדידה/הערכה של אפקטיביות הביקורת הפנימית שאומצה במחקר זה היא הגישה הגורסת שיש להתייחס לאפקטיביות מנקודת מבט כי ההנהלה בארגון היא צרכן של שירותי הביקורת. מהימנותם של כל המדדים שבהם נעשה שימוש הייתה גבוהה למדי. בנוסף לכך, גם מידת מהימנותם של הפריטים המרכיבים את הגורמים הפנימיים במדדי אפקטיביות הביקורת הפנימית גבוהה יחסית ומחזקת את הסברה בדבר ההומוגניות הפנימית של מדדי אפקטיביות הביקורת הפנימית.

קביעת ממדיה השונים של אפקטיביות הביקורת הפנימית באה להצביע על התחומים השונים שבהם האפקטיביות יכולה לבוא לידי ביטוי. באיזו מידה, אם בכלל, קיים שוני באפקטיביות כפי שהיא באה לידי ביטוי במדדים השונים? מדדי האפקטיביות שנבנו מודדים אותה תופעה והם יציבים.

מחקר זה טומן פוטנציאל בלתי מבוטל לעבודות נוספות בתחום חקר אפקטיביות הביקורת הפנימית בארגונים. באופן כללי מומלץ כי מחקרים נוספים יתמקדו במישורים הבאים:

  1. יבחנו דרכים נוספות לדיון על איך נכון להעריך ולמדוד את אפקטיביות הביקורת הפנימית.
  2. יבחנו דרכים לשיפור ההגדרה האופרטיבית של אפקטיביות הביקורת הפנימית.
  3. ינסו לבדוק את אפקטיביות הביקורת הפנימית בסביבות ארגוניות אחרות, כגון תעשיות עתירות טכנולוגיה וקיבוצים.

המשימה העיקרית של עבודה זו הייתה לפתח כלי תקף ומהימן להערכה ולמדידה של אפקטיביות הביקורת הפנימית כפי שהיא נתפסת על ידי הדרג הניהולי הבכיר ברשות המקומית. הממצאים מצביעים על תרומה גבוהה של המחקר ברמה התיאורטית והמעשית העשויה לצמצם את הפער המחקרי הקיים בתחום חקר הביקורת הפנימית ((Eden & Moriah, 1996.

ד"ר גבי סייג הוא המנהל האקדמי של תכנית מבקרים פנימיים ביחידה ללימודי המשך ולימודי חוץ, ועמית הוראה בבית הספר למדעי המדינה – אוניברסיטת חיפה.

רשימת מקורות

Albrecht, W.S., Howe, K.R., Schueler, D.R., & Stocks, K.D. (1988). Evaluating the effectiveness of Internal Audit Departments. Altamonte Springs, Florida: IIA Research Foundation.

Antle, R. (1982). The Auditor as an economic agent. Journal of Accounting Research, 20(1), 503-527.

Cummings, L.L. (1977). Emergence of the Instrumental Organization. In P.S Goodman & J.M.

Eden, D., & Moriah, L. (1996). Impact of internal auditing on branch bank performance: A field experiment. Organization Behavior and Human Decision Performance, 68(3), 262-271.

Kaplan, R.S., and Norton, D.P. (2000). The Strategy Focused Organization – How Balanced Scorecard Companies Thrive in the New Business Environment. Boston, Mass: Harvard Business School.

Sawyer, L.B. Sawyer’s Internal Auditing. (1988). Chapter 20, Quality Assurance, 909-935.

Altamonte Springs, Florida: The Institute of Internal Auditors.

Sawyer, L.B. (1995).An internal; audit philosophy.Internal Auditor, 52(4), 46-56.

Wallace, W.A.(1985). The Economic Role of the Audit in Free and Regulated Markets. New York: Touche Ross & Co.

White, A.W. (1976). The Essentials of an Effective Internal Audit Department. Internal

Ziegenfuss, D.E. (2000). Measuring Performance. Internal Auditor, 57(1), 38-44.

רוזביץ, ש. (1999). ביקורת המדינה ברשויות המקומיות. בתוך: פרידברג, א. (עורך). משרד הפנים. הביקורת ברשויות המקומיות בישראל.