Como te dice amchacon, no seas loco y utiliza alguna librería que lo implemente.
RSA no se suele usar para cifrar toda la información. Por ejemplo en https, verificas la identidad (firma) del servidor a través de RSA y compartes las claves de cifrado (simetrico) via RSA, luego ya usas cifrado simetrico (como podría ser AES)
Si aun sigues con la idea de cocinarte todo y reinventar la rueda, mira como lo hace alguna implementación, aunque la mayoría por temas de rendimientos suelen ser wrappers a c, como puede ser la de python.