网站黑名单&反垃圾

Eif-Hill

来自于卡饭的支援：http://bbs.kafan.cn/thread-1423133-1-1.html
                                  http://bbs.kafan.cn/thread-1798022-1-1.html
恶意网站实验室，http://www.mwsl.org.cn/
为什么要建立这些规则
1、广告商的无下限的流氓行径（其内容多涉及药物、色情、游戏、诈骗）
2、清除干扰，保护个人隐私
3、清除可能潜在的客户端流氓
4、垃圾网站遍地
在天朝谈隐私，也许有些不切实际，毕竟天朝是不可能存在yahoo的。(yahoo为了抗拒NSA的数据请求，拒绝特别法庭开出的强制令，导致yahoo为此在一段时期内，每天付出25万美元的罚金，导致其公司财报曾近一度出现异常的亏损，但是受制于法令的限制，yahoo对于支付罚金导致的不明财务支出，不能向外界说明（间接引发了SEC和特别法庭的冲突））正如1984中所说的，the big brother is watching you。所谓的隐私保护只是“防君子不防小人”，毕竟连官府的网站成为他人攻击对象（如考研网站的考生130+万的考生信息被泄露，这些个人信息要多详细就多详细）
互联网的免费的实质就是以隐私作为交换的（这一点在社交网络上更加明显，用户的隐私战争更是以此为中心，从这个角度上讲，facebook在欧洲是很危险的）。其关键在于广告商对于用户隐私的使用程度。所以在挑选免费的产品时，也需要考虑免费产品的提供商的道德操守在哪里。（由于天朝无相关的法律，所以很大程度是看服务提供商的自身的道德约束，否则也不会出现数字和企鹅在用户的电脑上直接开战这一骇人听闻的惨剧）以“中文第一搜索”的推广为例，赤裸裸的将用户的隐私放在桌面上。各类的国产特色客户端就更不用说了，在作为广告展示平台的同时还顺手上传些用户的文件，以用作分析用户，为后面为用户提供更加“贴心，细致”的服务作为参考。
注意：
1、使用adblock这类工具拦截广告时，虽然我们看到了页面的广告的弹窗和展示，但是其后台的广告追踪和统计等还是在运转的。
2、在hosts上建立的防御机制是对付网络垃圾和危险的一种比较有效的方法，特别是对于网络不熟悉的用户以及小孩。（有效封杀各类贴心买一送X的产品）
组合：hosts+DNS+杀毒软件+浏览器（带有一定反恶意网站能力）+广告过滤插件or客户端。（IE也带有的广告拦截（隐私保护），及adblock for IE（有点耗内存））
备注：
1、本地ISP的DNS，就是一个坑，可以挑选其他合适的DNS，推荐onedns（有一定程度拦截恶意网站和过滤广告能力），同样适合用在平板和手机上使用。特别是针对如ipad的safari等不具有广告拦截的浏览器。
onedns
112.124.47.27（南方首选）
114.215.126.16 （南方备用），北方反之。
114dns
114.114.114.114 和 114.114.115.115  普通
114.114.114.119 和 114.114.115.119  拦截
114.114.114.110 和 114.114.115.110  儿童
阿里DNS
223.5.5.5
223.6.6.6
其他一些国外（包括tw，hk）DNS就看情况，有一些ping不同或者是延迟，丢包等。
2、全局类的广告过滤工具，个人保持一个谨慎的态度。
3、浏览器的挑选，应该一定程度避开广告商的产品，如某度浏览器，某豹，某狗。
至于牛叉的chrome，其也是存在一定的隐私争议的，尽管google尽力维持着其“don't be evil”的基准底线，但是不要忘记了google本身是一家以广告业务为核心的搜索服务公司（前CEO施密特曾坦言google是一家广告公司）。google也曾因为越过safari浏览器的隐私保护而受到处罚，毕竟公司的存在是逐利的，就算是拥有严格法律监管等强大外部监督和内部约束下，伟大的公司也会犯错的。
清理对象：
1、色情（包括各大网站的聊天视频，如网易bobo，酷6、9158）
2、游戏（大型游戏、益智类等除外）
3、广告（主要集中针对各大广告联盟，如麒麟联盟）
4、军事（简氏防务这类除外）
5、人民网类（政宣类）
6、其他垃圾类，如百度软件中心、各种XX软件下载站这类陷阱类网站。
7、恶意、钓鱼等高危网站
规则组成类型：
1、可见网站域名（如，0.0.0.0 www.2345.com）
2、看不见（使用httpsniffer等软件后台抓取，如百度的广告服务 0.0.0.0 s.cpro.baidu.com）
注意事项：
1、在对某个网站的链接进行拉黑的时候，应该小心这些链接为网页的必备的链接，拉黑可能造成网页加载异常。
如百度贴吧
0.0.0.0 tb1.bdstatic.com
0.0.0.0 tb2.bdstatic.com
这两条链接拉黑造成网页的部分内容无法加载。
0.0.0.0 pcs.baidu.com这个条规则会导致无法从百度网盘网页下载文件。
2、采用了hosts拦截广告后，可能导致chrome脚本anti adblock killer失效，如城通网盘会提示广告被拦截。
建立规则的方式：
1、直接封杀的网站
如：0.0.0.0 www.2345.com
2、针对广告
1、针对特定的网站（阻止广告展示+后台的数据统计、收集、追踪）
如百度
针对百度
0.0.0.0 pos.baidu.com #展示广告
0.0.0.0 sclick.baidu.com
这类规则可以针对自己经常访问的网站建立一套规则。
2、针对广告联盟在第三方网站展示、统计等。
比如电影天堂
0.0.0.0 c.37kx1.com #第三方广告联盟
3、hosts也能用在控制客户端的广告弹窗和软件后台的更新
以网易云音乐为例，其后台自动更新，无法关闭，那么可以找到其下载的链接，在hosts建立一条规则来阻止其自动更新。（当然也可以在其下载路径下放置同命文件进行拦截，更新文件的下载路径为C:\Users\用户名\AppData\Local\Netease\CloudMusic\update）
0.0.0.0 web.push.126.net:6003 #涉及更新服务
0.0.0.0 s1.music.126.net #后台更新
如此可以建立起拦截不小心中了某些下载器捆绑安装软件下载的路径。

可以看到，这是cloudmusic自动更新获取安装包的路径。

所需工具
1、HTTPNetworkSniffer，http://www.netlimiter.com/products这个网站上有不少好用的小型网络工具，当然如果需要更高级别的工具，也可以上Wireshack（太复杂了，实在不会用）
tips：sniffer的使用相当简单，无需详细设置，运行需要管理员权限，抓取的目标是host name。可以用某度作为练习的模板，某度的广告平台的覆盖面最广，最为容易抓取到，而且其广告特征明显，很容易分辨出来。同样也可以利用sniffer来分析一些网页的内容，如360的好搜的“搜索热词”的出现是靠运行脚本，可以禁用其脚本，即可去掉其恶心的搜索热词，搜狗的“搜索热词”是来自于sug.sogou.com,可以创建0.0.0.0 sug.sogou.com即可去掉其热词。
2、Netbalance，https://netbalancer.com/管控网络，可以对联网的软件设定优先次序，建立过滤规则等功能当然很多功能是需要付费的。免费版本，也不错，基本可以满足检测网络流量，也可以建立网络的优先次序（数量有限）
3、资源和性能监视器（系统自带），可以检测磁盘，cpu、网络等，特别是磁盘监控，可以查看软件访问了哪些文件（可以用来揪出一些流氓）；还有专业的microsoft专门工具Process Monitor，https://technet.microsoft.com/en-us/sysinternals/bb896645.aspx。
4、namebench，DNS工具，http://code.google.com/p/nameben ... h-1.3.1-Windows.exe
tips：关于hosts的修改，对于来自于工具修改hosts保持谨慎，还是偏向于手动修改，由于hosts一般需要管理员权限，可以用管理员身份运行记事本，修改hosts之后可以直接保存。
为了方便修改，hosts编辑时应该整齐明了（有效分类），方便修改和找出异常的部分
如（前面的0.0.0.0可以换成127开头的指向，0.0.0.0只是比较方便）
#baidu
0.0.0.0 x.x.x.x #备注
0.0.0.0 x.x.x.x
··········如此
#2345
0.0.0.0 x.x.x.x #备注
...........
#xx广告联盟
0.0.0.0 x.x.x.x #备注
·····
如何查看你的净网效果，只需开启浏览器的隐私窗口（隐私窗口下禁用所有的扩展（默认），IE浏览器的隐私窗口好像默认隐私保护加载继续运行）
enjoy·········

kokodecai

太复杂了，专业人士用。下载个hosts更新的小工具就行了

救命稻草

学习了。

anycall9696

我是eset里直接禁止baidu.com
COMODO里被拦截的文件中添加规则*baidu*
根本不需要你那么费劲

Eif-Hill

anycall9696 发表于 2015-2-4 02:59
我是eset里直接禁止baidu.com
COMODO里被拦截的文件中添加规则*baidu*
根本不需要你那么费劲

不是彻底封杀百度，额，eset，毛豆，没有这两款杀器·······建立一份通用的名单，适合不同情况，仅仅依赖于windows提供的工具

lhbsxy110

谢谢，正好需要