어원은 불분명한데, 정신이 이상한 것을 '돌았다'고 표현하는 속어에서 비롯된 것이 아닌가 하는 의견도 있다. 실제로 검지로 머리를 가리킨 다음에 빙빙 돌리는 동작이 '또라이'라는 뜻으로 사용되기도 한다.

동작이나 두뇌회전이 굼뜨고 느린 것을 뜻하는 일본어 とろい(또로이)에서 왔다는 설도 있다.