用Wireshark抓包分析获得优酷视频地址

 PUBLISHED ON April 05, 2017

0x00 前言

优酷网是目前国内最流行的在线视频服务网站,通常如果需要下载优酷网上的视频就必须安装优酷的官方客户端。本文利用著名的抓包软件Wireshark对优酷网络视频进行抓包,通过数据包分析获得优酷网在线视频的真实URL地址,实现绕过客户端直接通过下载工具对其视频进行下载。

0x01 Wireshark简介

Wireshark是一个免费开源的网络数据包分析软件,它可以帮助网络管理员检测网络问题,帮助网络安全工程师检查信息安全相关问题。 WireShark的常用功能有如下:

  • 捕获数据包功能:可以选择需要捕获数据的网络接口、设置混杂模式、设置捕获过滤器、设置捕获到永久文件、设置自动停止捕获的条件。
  • 数据包过滤功能:数据包过滤又可以分为捕获过滤器和显示过滤器,过滤器将在下一节进行详述。
  • 数据包浏览与分析功能:显示捕获后的数据包,对每个数据包按网络协议进行分层解释,并提供十六进制数据格式的窗口。
  • 文件操作功能:能够对完成捕获的数据进行保存为多种文件格式,对捕获文件进行导入和合并等操作。
  • 搜索功能:具有按照字符串/十六进制/正则表达式对分组进行搜索的功能。
  • 统计功能:具有协议统计、IP统计、端口统计等功能。

Read More»

对韦氏词典的单词音频数据进行爬取

 PUBLISHED ON March 01, 2017

0x00 前言

最近,突然想练习一下单词的听写,而且最好能够自己按照自己定制的单词列表进行。采用的方法是到网上去爬取每个单词的发音音频,爬下来后再进行合并成一段音频在电脑上播放。通过比较各种网络词典的发音,感觉韦氏词典的发音库比较地道,所以尝试分析它的音频数据爬取方法。

0x01 URL地址分析

以单词cat为例,发音页面的URL为: https://www.merriam-webster.com/dictionary/cat
打开这个单词页面以后,选择Chrome开发者工具,选择Network标签页,抓包得到单词cat的mp3地址为:
https://media.merriam-webster.com/audio/prons/en/us/mp3/c/cat00001.mp3
虽然不费吹灰之力得到单词cat的音频地址,下一步仍然要进一步分析这个URL是如何生成的。打开Chrome开发者工具,在Elements标签页,查看单词发音部分对应的DOM节点,找到如下的一段代码:

<a class="play-pron converted" data-lang="en_us" data-file="cat00001" data-dir="c" 
href="https://www.merriam-webster.com/dictionary/cat?pronunciation&amp;lang=en_us&amp;dir=c&amp;file=cat00001" 
title="How to pronounce cat (audio)"> play <span class="play-box"> </span></a>

Read More»

一种基于开源软件的翻墙方案

 PUBLISHED ON January 01, 2017

0x00 前言

有时候我们必须借助一些工具进行有效翻墙,获取墙外的信息。翻墙方法有很多,其中有一种较为安全、稳定、可靠的方法就是利用一台海外VPS,通过部署shadowsocks开源软件进行socks代理方式翻墙。

0x01 购买海外VPS

VPS可供选择较多,比如搬瓦工,20美元一年,支持支付宝支付,具体购买步骤略去。
最终目的是得到一个可以SSH登录的远程服务器。

Read More»