Бананом называлась двойка, а не всякая плохая оценка. Вот в отношении почему… Тут история древняя, уходит чуть ли не в дореволюционные гимназические времена. Тогда точно было банан – двойка. Потом уже обобщили на единицы и неуды вообще.
Дальше можно только догадываться. Как вариант. Была такая идея, ставить вместо числовых буквенные оценки. А – единица, Б – двойка и т.д. Это точно было. И вот якобы из этого Б получился банан.

Тут конечно вопрос к историкам и филологам, но версия, на первый взгляд, разумная. Осталось только выяснить, что было раньше – курица или яйцо двойка – банан или Б – двойка?