业余爱好『Favourite』

BeautifulSoup4 中文乱码

没有评论

BeautifulSoup4解析页面的时候发现有一部分内容是乱码，刚开始还以为是pycharm的问题，后来发现可能问题不是出在pycharm上，因为普通的print打印的中文是没有问题的。测试代码如下：

def proxy_get(url):
    if is_use_proxy:
        socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT)
        socket.socket = socks.socksocket
    req = requests.get(url, headers=HEADERS)
    return req.text


def get_sub_pages_test(url):
    '''
    http://www.meitulu.cn/t/shishen/
    :param url:
    :return:
    '''
    bs = BeautifulSoup(proxy_get(url), "html.parser")
    boxes = bs.find('div', class_='boxs')
    lis = boxes.find_all('li')
    log_text('PAGE', '开始分析页面链接', is_begin=True)
    for l in lis:
        p = l.find('p', class_='p_title')
        print( p.text)
Continue Reading

业余爱好『Favourite』

色情网站发展历史

没有评论

当你在凝视深渊的时候，深渊也在凝视着你 -- 尼采《善恶的彼岸》

什么是网络色情？严谨的定义就是：凡是网络上以性或人体裸露为主要诉求的讯息，其目的在于挑逗引发使用者的性欲，表现方式可以是透过文字、声音、影像、图片、漫画等。

网络色情发展史

  • 互联网萌芽年代 邮件传输——当时在大学科研院所以及一些公司，已经有人通过软盘、邮件来传输一些来自台湾、日本的纯色情文字。

  • 互联网普及年代 搜索引擎之SEX和XXX搜索——有了搜索引擎，给网络色情的中国的发展带了巨大的发展。96年的YAHOO,97年国内的SOHOO，其搜索结构中，SEX和XXX主体字的搜索占了很大的比例。

  • 互联网发展年代 个人主页、情色电影、明星图片、性爱课堂、色情文学

  1. 个人网站初期，色情的躲避和小范围传播：98年，国内的碧海银沙和网易推出了免费申请的个人主页空间，网络用户大量增加。当时的政策是，一旦发现某个个人网站中有色情成分，如果被空间提供商发现，就会停止器个人空间，如果被公安局发现，就会连带影响到整台服务器。 门户网站的边缘内容从情色电影、明星图片到性爱课堂：99年国内开始出现门户的概念，以大内容吸引更多网民访问的网站，已经主动提供了一些可算可不算色情的内容，比如提供情色电影海报，介绍等，特别是各种明星图片。

Continue Reading

后台开发『BackEnd』

nginx 代理google搜索

没有评论

为了能够正常访问google进行搜索，之前一直用的ssh转socks代理。后来觉得如果s2主机只用来做代理，有点浪费了。于是就想了干脆反向代理一个google搜索。网上相关的文章比较多，随便搜索一下就可以找到相关的代码。基于nginx的主要配置代码如下：

proxy_cache_path /tmp/accounts levels=1:2 keys_zone=cache:10m max_size=10g inactive=60m use_temp_path=off;
server {
        server_name h4ck.ws;
        location / {
      proxy_redirect off;
      proxy_cache cache;
      proxy_cache_valid   200 304 12h;
      proxy_cache_valid   any 10m;
      proxy_cookie_domain google.com h4ck.ws;
      proxy_pass https://www.google.com;
      proxy_connect_timeout 20s;
      proxy_read_timeout 600s;
      proxy_send_timeout 600s;

      proxy_set_header Host "www.google.com";
      proxy_set_header User-Agent $http_user_agent;
      proxy_set_header Referer https://www.google.com;
      proxy_set_header Accept-Encoding "";
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Forwarded-Proto https;
      proxy_set_header Accept-Language "zh-CN";
#     proxy_set_header Cookie "PREF=ID=047808f19f6de346:U=0f62f33dd8549d11:FF=2:LD=zh-CN:NW=1:TM=1325338577:LM=1332142444:GM=1:SG=2:S=rE0SyJh2W1IQ-Maw"; #这行代码可能会导致google监测到流量异常
      sub_filter https://www.google.com https://h4ck.ws;
      sub_filter https://www.google.co.jp https://h4ck.ws;
      sub_filter_once off;
      addition_types *;
  }
}
Continue Reading
Close Menu