I've invented only one case of using "Только":

- Сколько языков вы знаете?
- Я говорю только немного по-русски...

If "только" is used to imply that you speak only one language - it's ok,...