Alterar CHAR para NUMERIC

Galera, seguinte tenho uma tabela com 30 milhões de registro, e preciso alterar um campo CHAR para Numeric.

Já tentei o seguinte.

Ir no Enterprise Manager, ele abenda, e não altera.
Inserindo em outra Tabela, fazendo o Convert.
Separar por Mês, ao invez de fazer o ano todo, (cada mês media de 2,5 Milhoes de Registro) também não deu!
Criei uma coluna em branco (NUMERIC), e fui fazer um UPDATE e também não deu ex:

   UPDATE Temporario.[dbo].[yl_2008_teste]
      SET Agencia_Pagador_N = CONVERT(NUMERIC,Agencia_Pagador)
    WHERE mesano = '012008'

Também não deu, da erro:

 Server: Msg 8114, Level 16, State 5, Line 1
 Error converting data type varchar to numeric.


Alguem tem uma dica?

Valeu

---

Edgar Esteves - www.localdosuporte.com.br