同一图片对同一颜色进行分组采集

用C#，有什么方法可以对一张图片中的同一颜色进行分组采集呢？我这个图片中有两个黄色，我想每个黄色都收集成一组，这咋操作呢？

        Dictionary<Color, int> Colors = new System.Collections.Generic.Dictionary<Color, int>();
        Colors.Add(Color.Red, 0);
        Colors.Add(Color.Yellow, 0);
        Colors.Add(Color.Yellow, 1);
        var g = Colors.GroupBy(c => c.Key).Where(g=>g.Key == Color.Yellow);
        foreach (var item in g)
        {
                foreach (var t in item) // 遍历全部Color.Yellow
                {
                    Console.WriteLine(t.Value);
                }
        }