בן שמעון גדל במחלקת הנוער של מכבי פתח תקווה, ובשנת 1987 עלה לקבוצה הבוגרת של המועדון, שם שיחק לצידו של אחיו הבכור, החלוץ אסי בן שמעון. במכבי פתח תקווה שיחק עד עונת עונת 1994/1995 עמה זכה פעמיים בגביע הטוטו של הליגה הארצית (אז הליגה השנייה), ובעונתו האחרונה זכה עמה בגביע הטוטו של הליגה הלאומית (אז הליגה הראשונה) אחרי ניצחון 1:2 על מכבי תל אביב במשחק הגמר, בו כבש בן שמעון את השער השני לזכות מכבי פתח תקווה בבעיטה חופשית מדויקת.
בשנת 1995 חיפש אברהם גרנט, אז מאמן הפועל חיפה, חיזוק בהגנה והתעניין בבן שמעון. מכבי פתח תקווה, בראשותו של אבי לוזון גילו התנגדות עזה. רובי שפירא, אז נשיא הפועל חיפה, סיכם עם אבי לוזון על בורר. זה קבע שאין סכום שיכול לשחרר את השחקן מפתח תקווה. בחיפה היו קולות שההחלטה לא מפתיעה שכן לוזון הוא זה שבחר את הבורר. בסופו של דבר, הפסד 4:1 בגביע הטוטו למכבי תל אביב, אילץ את גרנט לחפש חיזוק הגנתי, ושפירא הסכים לתג מחיר גבוה של 450,000 דולר עבור בן שמעון. הסכום ששולם היה גם סממן לעידן חדש בכדורגל הישראלי, שהמשיך מאבקים מול מכבי חיפה על שחקנים דוגמת טל בנין וראובן עטר, והעלה את רף המחירים של השחקנים ושכרם באופן ניכר.
בהפועל חיפה הפך בן שמעון למנהיג, וזכה לכינוי "5 לב אדום" מצד אוהדי הקבוצה. כמו כן, שימש כקפטן הקבוצה והגיע לשיאו בעונת האליפות של הפועל חיפה בשנת 1999 תחת הדרכתו של המאמן אלי גוטמן. בשנת 2000 מאמן הקבוצה גיא לוי רצה לשחרר את בן שמעון מהקבוצה,[4] אך בלחץ רובי שפירא[5] והאוהדים[6] חזר בן שמעון להתאמן עם הקבוצה והצדדים שבו לשתף פעולה.[7] באותה עונה זכה עם הפועל חיפה בגביע הטוטו.
בן שמעון עוד הספיק לשחק בהפועל פתח תקווה ובבני יהודה תל אביב, ובשנת 2003 פרש ממשחק פעיל. בן שמעון ניחן בבעיטה חזקה ומדויקת והיה אמון על ביצוע הבעיטות החופשיות בקבוצותיו. ממצבים אלה כבש מספר שערים במהלך קריירת המשחק.
לאחר פרישתו, החל כמאמן קבוצת הנוער של מכבי תל אביב, ובשנת 2005 מונה למאמן הפועל חיפה, אותה עזב לאחר שנכשל במאמציו לעלות עם הקבוצה לליגת העל.
בעונת 2006/2007 אימן את עירוני קריית שמונה בליגה הלאומית וזכה עמה בגביע הטוטו לליגת המשנה. בתום העונה העלה את הקבוצה לליגת העל לראשונה בתולדותיה. בעונת 2007/2008 הוביל בן שמעון את הקבוצה הצפונית למקום השלישי בליגה, שהקנה לה כרטיס לגביע אופ"א.
באפריל 2008, בעקבות הצלחתו בקריית שמונה, הודיעה מכבי תל אביב על בחירתה בבן שמעון למאמנה בעונת 2008/2009.[8] לפני פתיחת העונה תלו תקוות רבות בקבוצה, בעיקר בשל שחקני הרכש והכסף הרב שהשקיע בעלי הקבוצה, אלכס שניידר. אך אף על פי כן לא הציגה הקבוצה יכולת גבוהה ולאחר שמונה מחזורי ליגה בהם השיגה הקבוצה שני ניצחונות בלבד, פוטר בן שמעון מתפקידו.[9]
ב-12 באפריל2009 חזר בן שמעון לאמן את עירוני קריית שמונה לאחר התפטרותו של אלי כהן בעקבות הידרדרותה לתחתית הטבלה.[10] בן שמעון לא הצליח להציל את הקבוצה מירידה לליגה הלאומית, אך בעונת 2009/2010 זכה עמה שוב בגביע הטוטו לליגה הלאומית, ובתום העונה הוביל אותה בחזרה לליגת העל. בעונת 2010/2011 הוביל בן שמעון את עירוני קריית שמונה לזכייה בגביע הטוטו, והגיע עמה לחצי גמר גביע המדינה. בעונת 2011/2012 זכה עמה בגביע הטוטו בפעם השנייה ברציפות, ובתום העונה הוליך את עירוני קריית שמונה לאליפות הראשונה והיחידה (נכון ל-2024) בתולדותיה. בסיום אותה עונה עזב בן שמעון את הקבוצה בעקבות חילוקי דעות עם בעלי הקבוצה, איזי שרצקי.[11]
ב-11 ביוני2014 מונה בן שמעון למאמן מכבי פתח תקווה,[17] ובעונת 2014/2015 הוביל את הקבוצה לפלייאוף העליון, והיא סיימה במקום השישי. כעבור שנה וחצי בתפקיד, לאחר חילוקי דעות עם ההנהלה, החליט בן שמעון להתפטר מתפקידו כמאמן הקבוצה.
ב-8 ביוני2016 מונה בן שמעון למאמן בית"ר ירושלים. ב-30 ביוני התקיים משחקו הרשמי הראשון של בן שמעון כמאמן בית"ר ירושלים בתיקו 0–0 נגד סלובודה טוזלה במסגרת מוקדמות הליגה האירופית, ושבוע לאחר מכן ניצחה הקבוצה 1–0 במשחק הגומלין. בן שמעון הוביל את הקבוצה לשלב הפלייאוף של מוקדמות הליגה האירופית בפעם הראשונה בתולדותיה, ובו הודחה על ידי סנט אטיין. ב-5 בפברואר2017 פוטר בן שמעון מתפקידו.[18]
ב-5 ביולי 2017 מונה למאמן נבחרת קפריסין,[20] ובמוקדמות יורו 2020 הוביל אותה למקום הרביעי בבית. בסך הכל אימן את הנבחרת ב-23 משחקים, מתוכם ניצח חמישה משחקים והפסיד ב-14 משחקים, ובינואר 2020 הסתיים חוזהו בנבחרת.[21]