תרגול 10
CNN

Convolutional Neural Networks (CNN) -
רשתות קונבולוציה

• מודל MLP (Fully Connected (FC) network) אינו רגיש לסדר בכניסה לרשת.
  
  
• לפעמים תכונה זו הינה רצויה, אך באה במחיר של מספר רב של פרמטרים.
  
  
• במקרים בהם למידע יש מבנה מרחבי (לדוגמא תמונות) נרצה לנצל זאת.
  
  
• רשתות קונבולציה הינם סוג אחד רשתות feed-forward בעלת ארכיטקטורה אשר מנצלת תכונה זו.

1D Convolutional Layer

שכבת קונבולוציה חד-ממדית מבצעת פעולת קרוס קורלציה בין וקטור הכניסה $\boldsymbol{x}$ ווקטור משקולות $\boldsymbol{w}$ באורך $K$:

• וקטור המשקולות נקרא גרעין הקונבולוציה (convolution kernel)

הערה: שכבת קונבולוציה מחשבת קרוס-קורלציה, ולא קונבולוציה ($\boldsymbol{y}\left[n\right]=\sum_{m=0}^{K-1} \boldsymbol{x}\left[n-m\right]\boldsymbol{w}\left[m\right]$).

1D Convolutional Layer - המשך

באופן גרפי:

1D Convolutional Layer - המשך 2

הבדלים מרשת FC:

1. היציאות מחוברות רק לחלק מהכניסות, כאשר הכניסות קרובות אחת לשניה
   
   
2. כל היציאות מופקות מאותן משקולות

ההנחות הארכיטקטורה:

• הקשר בין כניסות קרובות הוא יותר חזק ומשמעותי מאשר כניסות רחוקות.
  
  
• אזורים שונים בכניסה מתנהגים באופן דומה.
  
  

בשכבת FC קיימות $N_\text{inputs}\times N_\text{outputs}$ משקולות בעוד שלשכבת קונבולציה יש $K$ משקולות.

1D Convolutional Layer - המשך 3

דרך נוספת להצגת שכבת קונבולוציה:

• $$h\left(\boldsymbol{z}\right)=\boldsymbol{w}^T\boldsymbol{z}=w_1z_1+w_2z_2+w_3z_5+b$$
• $b$ היינו איבר ההסט.

אקטיבציה לא לינארית

בדומה לשכבות FC, נעשה שימוש בפונקציות אקטיבציה לא לינאריות.

פונקציית האקטיבציה הנפוצה ביותר הינה ReLU: $\varphi\left(x\right)=\max\left(x,0\right)$.

קלט רב-ערוצי

נרצה לרוב ששכבת הקונבולציה תקבל קלט רב ערוצי. לדוגמא:

• תמונה בעלת שלושה ערוצי צבע.
• שמע ממספר ערוצי הקלטה.

במקרים אלו הניורון $h$ יהיה פונקציה של כל ערוצי הקלט:

פלט רב-ערוצי

נרצה לרוב להשתמש ביותר מגרעין קונבולוציה אחד לקבלת מספר ערוצים במוצא:

• בשכבות אלו אין שיתוף של משקולות בין ערוצי הפלט השונים.
• מספר הפרמטרים בשכבת שכזאת הינו: $\underbrace{C_\text{in}\times C_\text{out}\times K}_\text{the weights}+\underbrace{C_\text{out}}_\text{the bias}$

כאשר:

• $C_\text{in}$ - מספר ערוצי קלט.
• $C_\text{out}$ - מספר ערוצי פלט.
• $K$ - גודל הגרעין.

היפר-פרמטרים של שכבות קונבולוציה

בנוסף להיפר-פרמטרים של גודל הגרעין ו מספר ערוצי הפלט, מקובל להגדיר גם את הפרמטרים הבאים:

Padding - ריפוד

ניתן לרפד את וקטור הכניסה באפסים על מנת לשמר את אורך הוקטור במוצא:

היפר-פרמטרים של שכבות קונבולוציה - המשך

Stride - גודל צעד

ניתן לבצע את הקונבולוציה בדילוגים על מנת לדלל את המוצא.

לרוב גודל הצעד מסומן ב $s$. בדוגמא הבאה גודל הצעד היינו $s=2$ .

היפר-פרמטרים של שכבות קונבולוציה - המשך 2

Dilation - התרחבות

על מנת להקטיןן עוד את מספר הפרמטרים, ניתן לדלל את המשקולות בגרעין הקונבולוציה. פעולה זו נקראת הרחבה (dilation) של הקונבולוציה.

לרוב נסמן את ההתרחבות ב $d$ בדוגמא הבאה $d=2$.

Max Pooling

• לרוב ב CNN נעשה שימוש בשכבת נוספות על מנת לצמצם את גודל הקלט.
• שכבה לדוגמא היינה שכבת Max Pooling.
• שכבה זאת לוקחת את המקסימום מבין ערכי הכניסה.
• המוטיבציה לפעולה זאת היינה שהערכים הגבוהים מייצגים מאפיינים בעלי יותר אינפורמציה.

לדוגמא Max Pooling בגודל 2 עם גודל צעד (stride) 2:

בשכבה זאת אין פרמטרים נלמדים, אך גודל הגרעין היינו היפר-פרמטר נוסף.

2D Convolutional Layer

ניתן להגדיר גם שכבות קנבולוציה למימדים גבוהים יותר, לדוגמא, בדו מימד:

הכניסות והיציאות הן מטריצות. השכבה הכחולה היא הקלט והירוקה היא הפלט.

kernel size=3 padding=0 stride=1 dilation=1	kernel size=4 padding=2 stride=1 dilation=1	kernel size=3 padding=1 stride=1 dilation=1 (Half padding)	kernel size=3 padding=2 stride=1 dilation=1 (Full padding)
kernel size=3 padding=0 stride=2 dilation=1	kernel size=3 padding=1 stride=2 dilation=1	kernel size=3 padding=1 stride=2 dilation=1	kernel size=3 padding=0 stride=1 dilation=2

By Vincent Dumoulin, Francesco Visin

תרגילים

תרגיל 10.1

נתונה רשת קונבולוציה קטנה, הממירה תמונה בגודל 13×13 לווקטור מוצא בגודל 4×1. הרשת מורכבת מהפעולות הבאות:

• שכבת קונבולוציה עם 3 פילטרים (גרעינים) בגודל 4x4
• פונקציית אקטיבציה Relu
• max pooling 2x2 עם stride=2
• שכבת Fully-connected (FC)
• פונקציית אקטיבציה Relu

ברשת זאת אין שימוש בbias.

תרגיל 10.1 - המשך 2

א) כמה פרמטרים נלמדים יש בשכבת הקונבולוציה

תרגיל 10.1 - המשך 2

ב) כמה פעולות אקטיבציה מבוצעות (Relu) במעבר קדמי אחד (forward pass)?

תרגיל 10.1 - המשך 2

ג) כמה משקולות יש בכל הרשת?

תרגיל 10.1 - המשך 2

ד) האם רשת בקישוריות מלאה (FC) בעלת גודל שכבות זהה – כלומר רשת זהה שבה שכבת הקונבולוציה מוחלפת בשכבת FC, יכולה לייצג את אותה הפונקציה אותה ממשת הרשת המקורית?

תרגיל 10.1 - המשך 2

ה) מה ההבדל העיקרי בין רשת CNN ל FC שיכולות לייצג את אותו מסווג?

תרגיל 10.2

התמך או הrecptive field של משתנה מסויים ברשת מוגדר להיות כל התחום בכניסה אשר משפיע על אותו המשתנה.

א) מצאו את הrecptive field של ערך מסויים במוצא של שלוש שכבות קונבולוציה רצופות עם גרעין של $3\times 3$.

ב) רשמו באופן מטריצי את פעולת הקונבולוציה.

תרגיל 10.2 - פתרון

א) הrecptive field של שלוש שכבות קונבולוציה $3\times 3$ הינו $7\times 7$:

תרגיל 10.2 - פתרון - המשך

ב. נרשום את הפילטרים ככפל מטריצות, עבור הפילטר הראשון:

ובאופן זהה עבור פילטר מס’ שתיים ושלוש.

נרשום את הקלט בצורה וקטורית: $x = (x_1, \cdots, x_{49})^T$

וסה”כ נקבל: $y=w^3 w^2 w^1 x$

סכמות אתחול

מוטיבציה

ראינו בתרגול 8 שבחירה לא טובה של האתחול יכולה להוביל לכך שפונקציית האקטיבציה תהיה ברוויה והעדכון של המשקולות יהיה איטי ולא אפקטיבי:

• בעבור משקולות קטנות, האות דועך בין שכבה לשכבה ולא מחלחל לשכבות ראשונות. (vanishing gradients).
  
  
• בעבור משקולות גדולות, האות גדל בין שכבה לשכבה מה שיכול לגרום לחריגה מתחום ייצוג. (exploding gradients).

סכמות אתחול

בגרפים אלו ניתן לראות את הבעיה של הvanishing gradients.

נרצה למצוא אתחול טוב של המשקולות אשר יאפשר לאות לפעפע דרך הרשת בצורה טובה.

תרגיל 10.3

בשאלה זו נרצה למצוא סכמת אתחול עבור משקולות הרשת. לשם כך, נתחיל מלבחון נוירון ליניארי בודד.

א) נניח כי כל רכיבי המשקולות וכל רכיבי הכניסה הם משתנים אקראיים IID. בנוסף, נניח כי התפלגות המשקולות סימטרית סביב 0.

תרגיל 10.3 א

1) חשבו את התוחלת של המוצא $v$ כתלות בתוחלות של המשקולות והכניסה. בפרט, הראו כי $\mathbb{E}\left[v\right]=0$.

תרגיל 10.3 א - המשך

2) הראו כי לכל זוג משתנים אקראיים בלתי תלויים $x,y$ מתקיים:

תרגיל 10.3 א - המשך 2

3) כעת, נניח כי לכל $i$: $\mathbb{E}\left[x_i\right]=0$ (בסעיף הבא נראה הצדקה להנחה זו). השתמשו בנוסחה מהסעיף הקודם על מנת לבטא את השונות של $v$ באמצעות השונות של $x_1,w_1$.

תרגיל 10.3 א - המשך 3

4) כיצד ניתן לשמור על השונות של המוצא $v$ זהה לשונות של כל אחת מרכיבי הכניסה $x_i$?

תרגיל 10.3 -המשך

ב) כעת, נרצה להרחיב את הסכמה לנוירונים לא ליניאריים:

• כעת מתקיים כי $x_i=\sigma\left(y_i\right), \forall i=1, \dots,n$
• $\sigma\left(\cdot\right)\$ היא פונקציית האקטיבציה.
• $$v=w_1 x_1+w_2 x_2+\cdots+w_n x_n$$
• $y_1,\dots,y_n$ הם המוצאים של ניורונים מהשכבה הקודמת ברשת.

תרגיל 10.3 ב

1) לאילו מפונקציות האקטיבציה הבאות: sigmoid, tahn ו-ReLU, ההנחה $\mathbb{E}\left[x_i\right]=0$ שביצענו בסעיף הקודם היא עדיין הנחה “סבירה”? תזכורת:

תרגיל 10.3 ב1

פתרון:

אם התפלגות המשקולות סימטרית סביב 0, נקבל כי התפלגות $y_i$ סימטרית סביב 0 לכל $i$. לכן, ההנחה עדיין סבירה עבור tanh אך לא עבור ReLU וsigmoid. עבור tanh נקבל:

כאשר סימנו $x=x_i,y=y_i$.

תרגיל 10.3 ב - המשך

2) כעת לא נניח דבר על התוחלת של $x_i$. כיצד ישתנה הביטוי של השונות של $v$ מסעיף א.3?

תרגיל 10.3 ב - המשך

3) עבור פונקציית האקטיבציה ReLU, בטאו את השונות של $v$ באמצעות השונות של אחת הכניסות $y_i$. הניחו כי $\text{Var}\left(y_1\right)=\text{Var}\left(y_2\right)=\cdots=\text{Var}\left(y_n\right)$

תרגיל 10.3 ב - המשך

נשלב את התוצאה יחד עם תוצאות הסעיפים הקודמים ונקבל:

לכן, על מנת לשמור על שונות זהה בין כניסה למוצא נבחר את אתחול המשקולות כך שיתקיים:

חלק מעשי

LeNet-5

בחלק זה נעבור על היישום המעשי הראשון של רשתות קונבולוציה. הארכיטקטורה זאת שימשה ב1998 ושימש לזהות ספרות בכתב יד על צק’ים במערכות בנקאיות.

הרשת מקבלת תמונה רמת אפור בגודל 32x32 ומשתמש באריטקטורה הבאה על מנת להוציא וקטור פלט באורך 10 אשר מציג את הסבירות שהתמונה שייכת לכל אחת מ 10 הספרות.

אריכטקטורה

על מנת לייצג הסתברות נעשה ביציאה שימוש בשכבת Softmax.

Dataset: MNIST

לאימון הרשת נעשה שימוש במאגר המידע MNIST. הוא סט פופולרי מאוד שנעשה בו שימוש נרחב עד היום. הסט מורכב 70000 תמונות בינאריות בגודל 28x28 של ספרות בכתב יד, מתוכן 10000 הינם בסט המבחן.

הגדרת הבעיה

• המשתנים בבעיה:
  • תמונה בגודל 28x28 של סיפרה בכתב יד - $\boldsymbol{x}$
  • ערך הסיפרה: [0-9] - $y$

• רשת הנוירוניים $\boldsymbol{f}\left(\boldsymbol{x};\boldsymbol{\theta}\right)$ תשמש כמשפחה הפרמטרית אשר בעזרתה ננסה ללמוד את הפילוג $P_{Y\lvert X}$:

  $$P_{Y\lvert X}\left(y\middle\lvert\boldsymbol{x};\boldsymbol{\theta}\right)={\text{softmax}\left(\boldsymbol{f}\left(\boldsymbol{x};\boldsymbol{\theta}\right)\right)}_y$$

• הלימוד יעשה בעזרת MLE (אשר שקול למזעור של הcross entropy).

• החזאי אשר ימזער את ה missclassification rate יהיה:

  $$\hat{y} =h\left(\boldsymbol{x}\right) =\underset{y}{\arg\max}\ P_{Y\lvert X}\left(y\middle\lvert\boldsymbol{x};\boldsymbol{\theta}\right) =\underset{y}{\arg\max}\ f_y\left(\boldsymbol{x};\boldsymbol{\theta}\right)$$

חלוקה של מאגר המידע

משום שהמאגר המידע מחולק כבר לסט מבחן, כל מה שנותר לנו הוא לחלק את סט האימון לסט ולידציה וסט אימון. אין צורך לקחת סט ולידציה גדול משום שהרצת המודל על סט גדול דורשת הרבה משאבים, נקח סט קטן בגודל 1024 על מנת להעריך את ביצועי המודל בתהליך הלמידה באופן מהיר וחסכוני.

לימוד

נשתמש באלגוריתם הגרדיאנט בגרסת ה-mini-batch, או בשמו stochastic gradient descent (SGD), המשמעות הסטוכנסטית היינה שהBatch מוגרל באופן אחיד מתך מאגר המידע. האלגוריתם ישמש למציאת משקולות הרשת להקטנת פונקצית המחיר.

תזכורות: משקולות הרשת הינם המשקולות בגרעיני קונבולוציה, בשכבות FC ואיברי ההסט.

Hyper-parameters

• הארכיטקטורה של הרשת, שבה לא נעשה כל שינוי.
• אלגוריתם SDG:
  • גודל צעד הלימוד.
  • גודל הBatch, אשר אותו נשאיר קבוע בגודל 64.
  • מס’ מקסימלי של epochs. epochs - מס המעברים על כל סט האימון

בחירת גודל צעד הלימוד

נבחן את השפעת גדלי צעד לימוד על תהליך הלימוד. נריץ את האלגוריתם למשך epoch אחד עם הגדלים הבאים: $\alpha=10^{0},10^{-1},10^{-2}$

קיבלנו שעבור $\alpha=10^{0}$ המערכת לא מצליחה לבצע למידה (להקטין את פונקציית המחיר). ניתן להגיד שצעד הלימוד גדול מידי משום שעבור צעד לימוד קטן יותר המערכת כן מצליחה ללמוד.

כמו כן עבור $\alpha=10^{-1}$ קיבלנו תהליך התכנסות מהיר הרבה יותר ולמחיר נמוך יותר על פני $10^{-2}$. לכן נבחר את גודל הצעד להיות $\alpha=10^{-1}$

האימון

נריץ את באלגוריתם עבור גודל צעד $\alpha=10^{-1}$ למשך 20 epochs.

נראה שמודל התכנס יפה, משום שמחיר על סט הולידציה הגיע למישור. ניתן להניח שהמודל הגיע למינימום מקומי (אבל לא ניתן לדעת בוודאות)

הערכת ביצועים

קיבלנו misclassification rate של כמעט אחוז בודד, כלומר שעבור אחוז מסט המבחן טעינו בחיזוי הסיפרה או לחילופין צדקנו ב99% מסט המבחן.