Попробуйте проверить разрядность системы и установленной джавы. При 32 разрядной системе вы не можете выделить более 2гб