porque se me hace dificil llegar hasta 150 lb

Hola me llamo Adrian,tengo 19 años,mi peso es de 164 lb
Primero que nada mi consulta es que he empezado a hacer ejercicios desde enero de este año 2009,al principio pesaba 170 lb,despues finalizando el mes llegue casi hasta 165 lb,en todo el mes de enero iba al gimnasio,pero despues deje de ir ,entonces en febrero comenze con algo de karate, lo cual lo hago siempre por una hora,este ejercicio me hace sudar bastante,lo hago 4 veces por semana,no hago dietas,como normalmente pero sin exagerar,no se que es lo que pasa que no paso de las 160 lb,y quisiera que ustedes me digan que es lo que pasa, si tengo que hacer dieta o hacer otra clase de ejercicio para poder bajar de peso.Gracias