I've invented only one case of using "Только":

- Сколько языков вы знаете?
- Я говорю только немного по-русски...

If "только" is used to imply that you speak only one language - it's ok, but it will be heard wierd if you try to explain this way the lack of your speaking skills...

-Я говорю совсем немного по-русски. - Correct.