sed解析url的域名

echo http://3g.163.com/touch/article.html?docid=C6SM5BG40005877U | sed -n 's/^https\{0,1\}:\/\/$[^\/]*$\/.*/\1/p'

-n 只输出匹配的行

/p 打印结果

mark：

用反斜杠转义的地方跟普通的正则是反过来的，即表示普通字符不加转义，正则的功能字符需转义；

？表示0或1个不生效。无奈只能用{0，1}；

.*? 表示非贪婪模式不生效。例子中用了[^/] 代替

统计域名

cat url_file.txt | sed -n 's/^https\{0,1\}:\/\/$[^\/]*$\/.*/\1/p' | sort | uniq -c | sort -n -r | awk 'OFS="\t"{print $1,$2}' > domain_sort.txt

后面加上 awk 'OFS="\t"{print $1,$2}' 是为了结果复制到 Excel 方便

sed解析url的域名相关推荐

Go 学习笔记（50）— Go 标准库之 net/url（查询转义、查询参数增/删/改/查、解析URL）
1. URL 概述 import "net/url" url 包解析 URL 并实现了查询的转码.URL 提供了一种定位因特网上任意资源的手段,但这些资源是可以通过各种不同的方案( ...
通过url,获取html内容,并解析,如何使用 JavaScript 解析 URL
在 Web 开发中,有许多情况需要解析 URL,这篇主要学习如何使用 URL 对象实现这一点. 开始创建一个以下内容的 HTML 文件,并在浏览器中打开. JavaScript URL parsin ...
python爬虫基础扫盲之urllib.pase解析URL
在笨方法"学习python笔记之urlopen,中提了urllib主要是提供打开网页,解析url等功能用于网络爬虫,其lib主要包含四个部分,其中urllib.parse主要是负责url的解 ...
js常用方法，JS实用方法，jq获得文件后缀，解析window。location，解析URL参数
jq获取文件后缀的方法 var file = "测试文档1111111111.docx"; // 文件 var fileName = file.replace(/.*(\/|\\) ...
多活主备选择性DNS解析（一个域名对应多个IP）
多活主备选择性DNS 问题背景知识背景 DNS解析存在多级缓存(此处仅列举到DNS服务器层:后续流程不涉及) DNS一对多域名的解析随机性 DNS 域名解析负载均衡缺点: 可能方案方案一.dns解 ...
网址，URL，域名，IP地址，DNS，域名解析
网址,URL,域名,IP地址,DNS,域名解析文章简介一篇关于网址.URL.IP地址.域名.DNS.域名解析的白话长文. 编写形式:QA 背景知识互联网上的所有数据都是存储在主机(服务器)上互联 ...
解析URL得到IP地址
导读上一篇总结中涉及到的是输入URL的过程中浏览器做出的一些反馈,这一篇将总结之后发生的事情. 浏览器判断是URL还是搜索关键字解析URL DNS解析获得IP地址多IP域名DNS查询解决方案什 ...
urlparse解析url
python3中urlparse模块和urllib模块合并,urlparse()在urllib.parse中进行调用. urlparse()把url拆分为6个部分,scheme(协议),netloc( ...
实例讲解node.js解析URL并获取绝对路径和格式化
解析URL url.parse(urlStr[, parseQueryString][, slashesDenoteHost]) 参数说明 urlStr 网址 parseQueryString 是否 ...
取出url中的字符_如何在JavaScript中解析URL：例如主机名，路径名，查询，哈希？...
统一资源定位符(缩写URL)是对Web资源(网页,图像,文件)的引用.URL指定资源位置和检索资源的机制(http,ftp,mailto). 例如,这是此博客文章的URL: 通常,您需要访问URL的特 ...

sed解析url的域名

sed解析url的域名相关推荐

最新文章

热门文章