关于网络小说的编码

gaogao0621

本人搓了一个自动处理下载小说并将其转为AZW3的脚本，在使用的过程中有一些文件编码出现问题，实际为GBK编码但由于出现了一些非法字符无法识别，最终需要手动设置encoding 和errors="ignore"来处理，请问大佬们有没有自动判断什么编码的方式吗？(这玩意PyCharm都识别不出来)感觉直接修改Byte也不太可行，或是基于词频来判断？