指令集是CPU可以操作的集合，那么这个集合是写到CPU里的嘛？

如题，指令集作为一个集合，这个集合是写到哪里的呢？如果是控制器，那么控制器要如何利用这个集合的呢？