For example, I imagine, "Я изучаю русский язык книгою." is generally okay[ I assume ].
This particular sentence is not okay
You can say «Я изучаю русский язык по книге» but not «книгой/книгою».
In general, yes, the instrumental case works like you said.
E.g. you can say «Я учу стихотворение маленькими кусочками» etc.