שימוש בכלים טכנולוגיים וחדשניים בביקורת הפנימית
החברות העסקיות הגדולות, ובמיוחד אלו הפועלות במגזר הפיננסי ומנהלות כספים של אחרים, פועלות בסביבה עסקית ורגולטורית של שינויים משמעותיים שמקורם בשלוש מגמות מרכזיות:
- מיכון תהליכים;
- דיגיטציה;
- קבלת החלטות על סמך ניתוח נתונים בכלים סטטיסטיים מתקדמים.
לצד השינויים האמורים והסביבה הדינמית שבה פועלות החברות, תפקיד הביקורת הפנימית נותר קבוע: לבדוק את כל התהליכים בחברה לפי תוכנית רב-שנתית מבוססת סיכונים, תוך שימוש בכלי ביקורת מתאימים שיאפשרו מתן חוות דעת על כל תהליך, ובמידת הצורך מתן המלצות אפקטיביות לשיפור התהליך. לפיכך, כדי שהביקורת הפנימית תוכל לבצע את תפקידה באופן אפקטיבי בתוך סביבה עסקית ורגולטורית משתנה, היא נדרשת להפעיל כלי ביקורת מתקדמים מגוונים, לרבות הפעלת כלים טכנולוגיים וסטטיסטיים חדשניים.
במאמר זה יוצגו שתי דוגמאות הממחישות את הצורך של יחידות ביקורת פנימית להפעיל כלי ביקורת מתקדמים וחדשניים לצורך בדיקת תהליכים בחברה, וכן יובאו דגשים מסוימים בדבר אופן השימוש באותם כלי ביקורת.
בדיקה טכנולוגית של נאותות מנגנון חישוב במערכת מידע תפעולית:
הדוגמה הראשונה, תתייחס לבדיקה של תהליך תפעולי המבוסס על מנגנון חישוב במערכת: תהליך גביית ריבית על הלוואה המבוסס על מנגנון לחישוב הסכום לגבייה במערכת. לצורך הדוגמה, נניח כי במסגרת הסקר המקדים שביצעה הביקורת עלו הפרטים הבאים: חישוב הסכום לגבייה מבוצע באמצעות מנגנון מיכוני שפותח בשנה האחרונה; החישוב מבוצע עבור כ-800,000 הלוואות; אופן חישוב הריבית משתנה בין סוגי הלוואות שונים; החברה מבצעת בקרת סבירות חודשית של סך ההכנסה מריבית ביחס לחודש קודם.
להלן טבלה הממחישה את ההבדלים בביצוע הבדיקה בין יחידת ביקורת פנימית שעושה שימוש בכלי ביקורת מוגבלים לבין יחידת ביקורת פנימית שמבצעת את הבדיקה תוך הפעלת כלי ביקורת טכנולוגיים מתקדמים.
ביקורת עם כלים מוגבלים | ביקורת עם כלים טכנולוגיים | |
סוג הבדיקה | בדיקת נאותות חישוב הריבית לגבי מדגם אקראי של 100 הלוואות מסוגים שונים. | בדיקה ממוכנת של שלמות ודיוק מנגנון חישוב הריבית לכל אוכלוסיית ההלוואות. |
ממצאים אפשריים | חמישה מקרים שבהם בוצע חישוב שגוי, מתוך 100 המקרים שנכללו בבדיקה. | · ל-30% מההלוואות כלל לא מבוצעת גביית ריבית – בעיית שלמות הנתונים.
· ל-20% מההלוואות הריבית חושבה בצורה שגויה – בעיית דיוק הנתונים. · בקרת הסבירות שביצעה החברה לא העלתה את הממצאים האמורים לגבי בעיות השלמות והדיוק. |
המלצות רלוונטיות | לתקן את התקלות במנגנון שגרמו לחישוב השגוי במקרים שאותרו. | · לבצע תיקון של המנגנון הממוכן.
· להטמיע בדיקות ממוכנות תקופתיות להבטחת נאותות מנגנון חישוב סכום הריבית לגבייה. · להטמיע בדיקות ממוכנות לגבי מנגנוני חישוב מרכזיים נוספים במערכות התפעוליות שבהן לא קיימות בדיקות מסוג זה (ככל שנדרש, יש לבצע מיפוי של החישובים המרכזיים ולקבוע תוכנית רב-שנתית להטמעת הבדיקות הממוכנות). |
מהדוגמה לעיל ניתן לראות כי בדיקה שבה נעשה שימוש בכלי ביקורת מוגבלים אינה מאפשרת מתן חוות דעת על התהליך, שכן מממצא שלפיו קיימים חמישה מקרים שגויים מתוך 100 לא ניתן לגבש מסקנה לגבי התקינות של המנגנון לחישוב הריבית שעליו מבוסס התהליך – האם מדובר במנגנון "נאות" עם תקלות נקודתיות או שמדובר במנגנון שאינו תקין? יצוין כי מדגם ידני של כ-0.01% מהאוכלוסייה לא יכול ללמד באופן מיטבי על האוכלוסייה ולכן הבדיקה הידנית הראתה תוצאה של 5% שגויים, בעוד שהבדיקה הממוכנת שמלמדת על כל האוכלוסייה הראתה תוצאה של 20% שגויים בדיוק. כמו כן, המלצה לתקן את התקלות שאותרו משפרת את התהליך רק באופן חלקי, מאחר שיישום ההמלצה יביא רק לתיקון התקלות הנקודתיות שאותרו. לעומת זאת, בבדיקה ממוכנת תוך שימוש בכלים טכנולוגיים, ניתן לתת חוות דעת שלפיה התהליך אינו נאות מאחר שהוא מבוסס על מנגנון מיכוני שאינו תקין, כאשר גם הבקרה המבוצעת בתהליך כלל אינה אפקטיבית. כמו כן, יישום ההמלצות לתיקון המנגנון ולהטמעת בדיקות ממוכנות בתהליך הנבדק ובתהליכים רלוונטיים אחרים נוספים, יוביל לשיפור התהליך הנבדק ולבחינת הצורך בביצוע שיפור בתהליכים רלוונטיים נוספים בחברה.
בדיקה ממוכנת של מנגנון חישובי במערכת כפי שמובאת בדוגמה לעיל, מורכבת משני חלקים: בדיקת שלמות הנתונים ובדיקת דיוק הנתונים. בדיקת שלמות משמעה בדיקה כי החישוב מבוצע על כל האוכלוסייה הרלוונטית ועל האוכלוסייה הרלוונטית בלבד. בדיקת השלמות מבוצעת על ידי הביקורת באמצעות גיבוש עצמאי ובלתי תלוי של האוכלוסייה שעליה יש לבצע את החישוב במנגנון לפי ההגדרה העסקית/הרגולטורית והשוואת האוכלוסייה שגובשה על ידי הביקורת לאוכלוסייה שעליה מבוצע החישוב בפועל במערכת.
בדיקת דיוק משמעה בדיקה כי ביחס לכל מופע הכלול באוכלוסייה הרלוונטית, החישוב עצמו מבוצע במערכת באופן מדויק בהתאם להגדרה העסקית/הרגולטורית שנקבעה לצורך ביצוע החישוב. בדיקת הדיוק מבוצעת על ידי הביקורת בדרך של ביצוע חישוב עצמאי ובלתי תלוי (מחוץ למנגנון שבמערכת) של הנתון שמחשב המנגנון, והשוואת תוצאת החישוב העצמאי של הביקורת לתוצאה של החישוב כפי שבוצעה במנגנון של המערכת, זאת לגבי כל האוכלוסייה הרלוונטית שעליה מבוצע החישוב במנגנון.
להלן תרשים המתאר את האופן שבו מבוצעת בדיקה טכנולוגית מתקדמת של נאותות מנגנון חישוב מערכת:
לצורך ביצוע בדיקה טכנולוגית מתקדמת של מנגנון חישוב במערכת יש לבצע שליפה עצמאית ובלתי תלויה של נתונים מהמערכת, אולם בהתאם לנסיבות ובמקרים המתאימים, הביקורת יכולה להסתפק בשיטות אחרות לשליפת הנתונים כדי לבצע את הבדיקה באופן ממוכן.
להלן תיאור שלוש שיטות מרכזיות שבהן ניתן לבצע שליפה של נתונים, ופירוט בדבר היתרונות והחסרונות של כל שיטה:
- שליפה עצמאית ובלתי תלויה מבסיס הנתונים של המערכת באמצעות כלים טכנולוגיים. היתרונות בשיטה זו הם אי התלות של המבקר בביצוע הבדיקה, מאחר שהוא אינו נסמך על הגורם המבוקר לצורך קבלת המידע, וכן האפשרות של המבקר לקבל את כל הנתונים הנדרשים לו לצורך ביצוע הבדיקה, זאת מכיוון שהשליפה מבוצעת ישירות מהמערכת שבה מבוצע החישוב. החיסרון בשיטה זו הוא הצורך במשאבים ייחודיים – מבקר בעל יכולות טכנולוגיות, ופרק זמן ניכר שנדרש ללימוד הטבלאות הקיימות בבסיס הנתונים של המערכת, לרבות המיקום של כל נתון שנדרש לבדיקה בכל טבלה.
- שליפה ממערכת BI (בינה עסקית) ארגונית – היתרון בשיטה זו הוא שלהבדיל משליפה מבסיס הנתונים של המערכת, שליפה מ-BI היא פעולה פשוטה יחסית שיכולה להתבצע על ידי כל מבקר ומשך זמן הלימוד הנדרש לביצוע השליפה קצר יחסית. החיסרון בשיטה זו הוא שכלי ה-BI בחברה מיועדים לשליפה של דוחות ניהוליים ואינם מותאמים לשליפות המיועדות לביצוע בדיקות, ועל כן גם המידע שניתן לשליפה באמצעות כלי ה-BI הוא בדרך כלל מידע מוגבל. חיסרון נוסף: המידע הקיים ב-BI מהימן פחות מאשר המידע הקיים בבסיס הנתונים במערכת, מאחר שהשליפות מה-BI אינן מבוצעות מבסיס הנתונים של המערכת אלא מבסיס נתונים אחר וייעודי ל-BI. לבסיס הזה מועברים הנתונים הרלוונטיים באמצעות ממשק מבסיס הנתונים של המערכת, ויש סיכון שהנתונים לא יעברו במלואם בממשק או שלא יעברו בצורה מדויקת.
- קבלת שליפה מהגורם המבוקר. החיסרון המרכזי בשיטה זו הוא ההסתמכות על הגורם המבוקר, שמקשה על האפשרות לאתגר את שלמות המנגנון המיכוני, זאת מכיוון שקיים חשש שהשליפה שהועברה אל הביקורת אינה כוללת את כל הנתונים. לדוגמה, ייתכן מצב שבו הביקורת לא תוכל לאתר תקלה במנגנון החישוב, שכן אותו גורם ששלף את הנתונים עבור הביקורת התבסס על אותה שליפה שמשמשת להעברת הנתונים אל המנגנון – שליפה שיש בה תקלה לעניין שלמות הנתונים. במקרה כזה, במטרה לאתגר בכל זאת את שלמות הנתונים המועברים למנגנון, ניתן במקרים מסוימים לבצע הצלבה בין הנתונים ששימשו לצורך החישוב במנגנון שנבדק לבין נתונים שנשלפו ממערכת אחרת שגם היא ניזונה מאותם נתונים (לדוגמא: מערכת דיווח כספי, מערכת תשלומים וכו'). ההנחה העומדת בבסיס בדיקה זו היא שלא סביר שתהיה תקלה דומה הן בשליפת הנתונים המבוצעת כחלק ממנגנון החישובי הנבדק והן בשליפה המבוצעת כחלק ממנגנון נפרד המשמש להעברת נתונים למערכת אחרת.
בדיקה של תהליך קבלת החלטה תוך שימוש בכלי ניתוח נתונים מבוססי מודלים סטטיסטיים מתקדמים:
דוגמה שנייה, תתייחס לבדיקה של נאותות תהליך קבלת ההחלטה של חברת ביטוח להגדיל מכירת פוליסות ביטוח חיים למבוטחים שגילם עולה על 40 שנה.
לצורך הדוגמה, נניח כי במסגרת הסקר המקדים שביצעה הביקורת עלו הפרטים הבאים: ההחלטה של החברה התקבלה על סמך מודל חיזוי סטטיסטי מבוסס ,Machine Learning שהראה כי גידול במכירת פוליסות ביטוח חיים למבוטחים שגילם עולה על 40 יביא לגידול של 20% ברווח. המודל של החברה התייחס לשני פרמטרים: גיל המבוטח וגובה הכיסוי הביטוחי.
להלן טבלה הממחישה את ההבדלים בביצוע הבדיקה בין יחידת ביקורת פנימית שעושה שימוש בכלי ביקורת מוגבלים לבין יחידת ביקורת פנימית שמבצעת את הבדיקה תוך הפעלת כלי ביקורת מתקדמים.
ביקורת עם כלים מוגבלים | ביקורת עם כלים טכנולוגיים סטטיסטיים מתקדמים | |
סוג הבדיקה | · סקירת הגדרות המודל שנעשה בו שימוש.
· סקירת תוצאות המודל, לרבות דיוק המודל. |
· בדיקה עצמאית של דיוק תוצאות המודל, על בסיס מדדים לבחינת רמת מובהקות סטטיסטית אחרים מאלו שהשתמשה בהם החברה.
· פיתוח מודל סטטיסטי עצמאי מבוססMachine Leraning המתייחס גם לפרמטרים נוספים שהחברה לא כללה במודל (לדוגמה: סכום הפרמיה לתשלום ומין המבוטח). |
ממצאים
אפשריים |
· הגדרות המודל סבירות ותוצאות המודל תומכות בהחלטה שהתקבלה.
· שיעור הדיוק של המודל 50% בלבד. · במודל לא הוכללו פרמטרים נוספים רלוונטיים כדוגמת מין וגובה פרמיה.
|
· שיעור הדיוק של המודל לפי מדד דיוק שבו השתמשה הביקורת הוא 30% בלבד, ולפי המדד של החברה 50%. לכן עולה השאלה האם תוצאות המודל יכולות להוות בסיס מספק לקבלת החלטה.
· הוספת שני הפרמטרים למודל (סכום הפרמיה לתשלום ומין המבוטח) הביאה לשיפור משמעותי בשיעור דיוק המודל והעמידה אותו על 70%. · מניתוחים שבוצעו על פי המודל שפיתחה הביקורת, עולה למשל כי מכירה של פוליסות ביטוח חיים לנשים שגילן עולה על 40 תביא לעלייה של 50% ברווח (בעוד שהחברה כאמור לא עשתה הבחנה בין המינים והעריכה שיעור גידול של 30% בלבד ברווח). |
המלצות רלוונטיות | לשקול הכללת פרמטרים נוספים במודל, שייתכן שישפרו גם את דיוק המודל | · לשקול פיתוח מודל עדכני שיתבסס על פרמטרים נוספים ושהיה לו שיעור דיוק גבוה יותר.
· לשקול ביצוע בחינה מחודשת של החלטת החברה על סמך תוצאות מודל עדכני.
|
מהדוגמה לעיל ניתן לראות כי בדיקה עצמאית של המודל ואף פיתוח מודל עצמאי, מאפשרים לביקורת לתת חוות דעת שלפיה יש לבצע שיפורים בתהליך – פיתוח מודל מקיף ומדויק יותר ובחינה מחדש של ההחלטה שהתקבלה. לעומת זאת, סקירה בלבד של המודל אינה מאפשרת לתת חוות דעת של ממש בדבר נאותות המודל, ולפיכך גם אינה מאפשרת לאתגר בצורה משמעותית את תהליך קבלת ההחלטה של החברה.
להלן תרשים המתאר תהליך של ניתוח מידע באמצעות מודלים סטטיסטיים מתקדמים שניתן לשלב גם בעבודת הביקורת:
הדוגמה שהובאה לעיל מראה ששימוש של הביקורת הפנימית בכלים של ניתוח מידע באמצעות מודלים סטטיסטיים מתקדמים, עשוי לשמש את הביקורת הפנימית לצורך אתגור תהליך קבלת החלטות של החברה המבוססות על מודלים מסוג זה שמופעלים על ידי החברה עצמה. עם זאת, הביקורת הפנימית יכולה אף לשלב כלי ניתוח מתקדמים כאלה (כגון Machine Learning) גם ככלי ביקורת תומכים בביצוע בדיקות על תהליכים עסקיים ולצורך תמיכה בחוות דעת של הביקורת הפנימית לביצוע שיפורים באותם תהליכים עסקיים. למשל, בדרך של איתור מגמות שליליות או אנומליות בנתונים שעשויות להצביע על בעיה בתהליך או איתור מגמות חיוביות שדווקא עשויות להצביע על כך שהתהליך מבוצע באופן נאות.
לסיכום:
תפקידה של הביקורת הפנימית הוא לבצע בדיקות לצורך מתן חוות דעת בדבר נאותות כל אחד מהתהליכים המבוצעים על ידי החברה, ובמידת הצורך מתן המלצות אפקטיביות לשיפור התהליכים. אף שתפקידה של הביקורת הפנימית לא השתנה עם השנים, בשל שינויים משמעותיים שחלו בסביבה העסקית והרגולטורית שבה פועלות החברות העסקיות, ובמיוחד מיכון תהליכים, דיגיטציה וקבלת החלטות על בסיס ניתוחים סטטיסטיים מתקדמים, הביקורת הפנימית חייבת להתאים עצמה ולהפעיל כלי ביקורת חדשניים כדי להישאר רלוונטית וכדי להיות אפקטיבית. במקרים מסוימים הביקורת הפנימית אף צריכה לשקול אם להשתמש בניתוחי נתונים מבוססי מודלים סטטיסטיים מתקדמים.