linux shell如何根据截取某个字段多少位进行去重？

想使用linux shell对一个文本文件中某个字段截取前特定位数，然后去重，比如
25ds51dd225d86af,20180725115911,22570,20443,120.17138,30.119047
002a51dd225d86af,20180725120017,22570,184680195,120.176506,30.11527
002a51dd225d86af,20180725120058,22290,80489347,120.1810786,30.10003
002a51dd225d86af,20180725120149,22290,80489345,120.1810786,30.10003
002a51dd225d86af,20180725120209,22290,189880577,120.18859,30.093405
102a51dd225d86af,20180725120239,22290,155606668,120.1990471,30.0961
002a51dd225d86af,20180725120303,22290,155606666,120.1990468,30.0961
002a51dd225d86af,20180725120434,22290,193501442,120.220661,30.09723
002a79ded185cb04,20180725125428,22570,185263107,120.1576002,30.1293
002a79ded185cb04,20180726125649,22290,80489347,120.1810786,30.10003
,如何根据第一个字段、第二个字段截取前8位进行排序去重？

0 表示从左边第一个字符开始，12 表示截取字符的总个数。

Shell Script，Shell脚本与Windows/Dos下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比Windows下的批处理更强大，比用其他编程程序编辑的程序效率更高，它使用了Linux/Unix下的命令。
换一种说法也就是，shell script是利用shell的功能所写的一个程序，这个程序是使用纯文本文件，将一些shell的语法与指令写在里面，然后用正规表示法，管道命令以及数据流重导向等功能，以达到我们所想要的处理目的。
明白地说，shell script就像早期dos年代的.bat，最简单的功能就是将许多指令汇整写一起，让使用者很容易地就能够一个操作执行多个命令，而shell script更是提供了数组，循环，条件以及逻辑判断等重要功能，让使用者可以直接以shell来写程序，而不必使用类似C程序语言等传统程序编写的语法

#/bin/bash

buffer="25ds51dd225d86af,20180725115911,22570,20443,120.17138,30.119047
002a51dd225d86af,20180725120017,22570,184680195,120.176506,30.11527
002a51dd225d86af,20180725120058,22290,80489347,120.1810786,30.10003
002a51dd225d86af,20180725120149,22290,80489345,120.1810786,30.10003
002a51dd225d86af,20180725120209,22290,189880577,120.18859,30.093405
102a51dd225d86af,20180725120239,22290,155606668,120.1990471,30.0961
002a51dd225d86af,20180725120303,22290,155606666,120.1990468,30.0961
002a51dd225d86af,20180725120434,22290,193501442,120.220661,30.09723
002a79ded185cb04,20180725125428,22570,185263107,120.1576002,30.1293
002a79ded185cb04,20180726125649,22290,80489347,120.1810786,30.10003"

while read line
do
    #输出每一行
    echo line=${line}

    #截取一行的第一列
    column1=`echo ${line}| cut -d "," -f1`
    echo ${column1}
    #输出前8个字符
    echo ${column1:0:8}

    #截取一行的第二列
    column2=`echo ${line}| cut -d "," -f2`
    echo ${column2}
    #输出前8个字符
    echo ${column2:0:8}
done <<EOF
$buffer
EOF

char=abdasb1221342
echo ${char:0:8} # 第一个数字表示开始字符下标（从0开始），第二个表示截取下来的字符总个数
bd
char="你需要处理的字段"
sort -u ${char:0:8}

不明白追问