我编写的过程中遇到一些疑惑不知道如何解决，所以特来真心求教，万望解惑，如果有描述不对或者很low，请谅解。
一个最具体的例子：像前两年12306抢票只能用网页来抢，没有app或者桌面程序，很多朋友都根据12306网站编写了外挂app或者桌面程序，避免老得打开个浏览器。
目前我也想做类似的事情，根据某个http的Web网站写个外挂app或者程序，作为一个程序员，我大致也知道大致的流程是：拼接url->发起请求->收到请求->处理数据。
假设：我上面说的流程没有错的话。
问题：
（1）我该如何获取请求的http地址，因为有些请求我是可以在浏览器的开发者工具上根据显示的东西搜索并复制它的url，或者直接点开超链接，根据地址栏显示的url，脑补一下，做个拼接就好。但我想应该有些情况下的http请求我是无法直接获取url的，这时候我应该如何去找出这些请求url呢？
（2）收到请求的数据是很多的，但需要的数据只是那么一小部分，有啥通用的东西（java, C#都行）可以反序列化好这些东西，然后让我只取到我想要的数据呢？
(1)可以用fiddler抓包，这样可以清晰看到浏览器里都是怎么提交的，什么地址，什么参数
(2)用正则表达式，C#的话有神器，HtmlAgilityPack
http://www.cnblogs.com/oec2003/p/3322956.html
HtmlAgilityPack 让你可以像使用webbrowser的dom那样来从html中抓取数据