Existem fontes chaveadas minúsculas que medem a tensão e se ajustam (o ciclo de trabalho da onda quadrada) de modo a manter constante a tensão de saída. Muitos equipamentos operam com amplas faixas de tensão e frequências de rede (50 / 60Hz), exemplos: Notebooks, TVs, DVDs, celulares,... Isso é necessário até por que a tensão da rede não é 100% estável. Nesse aspecto, imagino que a tensão de saída deveria ser constante. Mas isso não e uma afirmativa categórica, que a tensão de saída de sua fonte não varie.
O melhor mesmo seria ligar a fonte à rede e medir a tensão de saída,... E na minha opinião, se for 4,5V, não serve, pois o piano opera com 6V. Também é necessário checar se a saída da fonte é em CA ou CC com o seu multímetro, se for CA também não serve, ou melhor poderia se colocar um retificador e um capacitor de filtro.
Além da tensão correta, também é necessário saber o consumo do piano e checar se a corrente não é maior que a capacidade da fonte (que deve estar escrita na caixa). Usa pilhas grandes? Poderia colocar as pilhas fora do piano e medir a corrente.