文章讲的是 大数据时代 命令行技术过时了吗, 随着《关于促进大数据发展的行动纲要》(简称“《纲要》”)日前正式下发,《纲要》提出,大数据成为推动经济转型发展的新动力。大数据产业正在成为新的经济增长点,将对未来信息产业格局产生重要影响。伴着这股潮流,出现了N多新技术如Hadoop、Spark、Hive等等,与这些时髦的技术相比,命令行好像应该被放进博物馆被人参观的古董。命令行的历史可以追溯到几十年前,而大数据的崛起才短短几年,命令行技术在数据科学这样新的应用领域是否还发挥作用,彰显其独有的魅力呢?

  前几日,小编注意到ChinaUnix论坛中有一贴子《大数据崛起时代,命令行技术的价值在哪里?》网友们讨论的很是热闹,网友fengzhanhai说道“命令行给系统管理员及开发人员带来的灵活性和快感不是图形界面所能够替代的”。于是小编也投身参与,让我们一起来讨论。

  命令行技术的优缺点

  使用命令行是很有趣的,记住各种命令,学会脚本的编写,用命令行是非常高效的。即使是使用Windows Server,我们也可以使用PowerShell,继续享受命令行的乐趣。对于初学者来说,命令行需要学习并记住很多命令及用法,显得颇有难度。

  网友seasea2517说“不用鼠标操作减少鼠标手烦恼,灵活、容易实现自动化批量化、系统要求低、不同平台的同样命令行工具下的操作相同。不足就是不够直观,上手比GUI慢一些。”

  “从最初的dos命令行,truboC的命令行编译及执行,到unix和linux时代命令行的普遍应用。他是一个系统工程师的普遍技能。但命令行是结构化编程变成的产物,在面向对象编程的今天,追求对象的引用、类的实例化、RPC的时候,命令行就其不能应对复杂的调用关系和形象的编程。尤其对于UE用户体验要求较高的场合,命令行基本用不上。”网友hiyachen说道。

  网友yinyuemi非常喜欢命令行,他说“我的学习之路,有80%的代码都是在命令行学习和运行的。很喜欢这种“沟通”方式,用awk/sed/grep等处理文本,命令行里操作无疑是高效的。经常是一段代码从头写到尾,不换行,一气呵成,感觉只有这种方式不会把在脑子里形成的伪代码思路隔断。不足之处,我觉得是命令行毕竟是依赖于终端,history的记录数有限,对于新手或不熟悉linux环境的童鞋们,一旦终端关闭,再想找回之前的代码记录并不是一件容易的事。当然,高手们不会为此感到烦恼。”

  那些你接触过的命令行工具

  相信每个Linux爱好者都能说出一大串命令行工具,并且能把它们运用的恰到好处!欢迎你们到论坛中(http://bbs.chinaunix.net/thread-4181945-1-1.html)来补充,这里说两个印象比较深刻的~

  网友xdsnet说道“用的比较多的是bash环境,以及其上的各类命令行工具,主要有直接bash内置命令行结合系统命令进行系统管理。“

  另一位网友jieforest谈到“Linux Shell,Python的Shell、Ruby的Shell等。Linux Shell用于解决服务器维护、搭建生产环境、部署业务、测试等等。Python Shell、Ruby Shell通常用于开发及调试代码。“

  面对高大上的数据科学,命令行过时了吗?

  打个做菜的比方,来描述数据科学5部分(数据获取、数据清洗、数据探索、数据建模、数据解释),要做一道菜的步骤——a先要有原材料,有菜;b 洗菜,过滤无用数据;c 探索菜谱,能做啥菜;d 建模,实际做菜;e 解释->吃菜,吸收营养。

  网友seesea2517说:“和数据打交道多的就是 mysql 了,对于数据库的数据来说可以用 mysql 或 mysqldump 获取数据,可以在 mysql 里做数据过滤,也可以用 awk sed grep 等过滤”命令行工具和技术永远在发挥着它的更接近于底层,一个个对资源(cpu、内存、网络、存储)的有效利用。

  也有网友说道:“一直用命令行处理文本问题,而对于数据科学在命令行的操作,命令行会不会略显单薄。”

  小编认为:命令行灵活、可增强、可扩展、可扩充无所不在,能使你真正成为更加高效和多产的数据科学家。数据是数据科学工作的主要原料,因此很重要的一点是要能很容易地处理包含数据集的文件。命令行为此提供了许多方便的工具。命令行与其他技术能够无缝集成。一方面,你可以经常在自己的工作环境中采用命令行。例如,可以在Python 和R 中运行命令行工具并捕获其结果。另一方面,也可以将自己的代码(例如以前编写的Python 或R 函数)转变为命令行工具。

  【结语】

  数据科学中,数据解释最为关键,仅根据数据找出相关性,但缺乏相关领域的理解和解释,是很危险的。就像一个婴儿和一棵树苗,在发育期的时间交集区间内都会长高。看数据,相关性非常好,但这两组数据没有任何关系。如果不能用合理的行业知识解释数据的结果,就很容易犯这种错误。命令行在实施数据计算分析处理方面,是跨行业、跨学科的人进行有效协作,最简单直接的方式。数据分析处理光靠学计算机的专业程序员是不够的,更多的是依靠各个学科领域的专业人士编写的程序包。把他们的成果汇集,还是一个个命令行程序。所以命令行不会过时,命令行工具和技术也发挥着作用,只是调用/处理流程上会发生变化,很多命令行命令(组/集)因为需要重复使用,而为了减低工作强度,会通过配置、预处理等等手段来减少正式命令行输入,但本质还是命令行工具。

作者: 杨璐

来源:IT168

原文链接:大数据时代 命令行技术过时了吗?

大数据时代 命令行技术过时了吗?相关推荐

  1. 黄智生教授:大数据时代的语义技术(公号回复“黄智生语义技术”下载彩标PDF论文)

    黄智生教授:大数据时代的语义技术(公号回复"黄智生语义技术"下载彩标PDF论文) 原创: 黄智生 数据简化DataSimp 今天 数据简化DataSimp导读:介绍面向大数据环境的 ...

  2. 普通程序员在大数据时代如何做技术的掌控者

    在这个大数据的价值堪比石油和黄金的时代,不论你是否从事大数据相关的工作,了解和掌握大数据相关的技术都应该成为一个工程师的必备技能.因为到现在为止,不管是什么体量的公司,都已经意识到数据的价值. 自20 ...

  3. 深度揭秘:大数据时代企业卖技术还是卖数据?

    大数据技术的热度这几年一直在上升,现在我们在谈论大数据的时候已经不再仅仅局限于炒作大数据的概念了,更多的是聚焦在一些大数据的具体应用上,作为企业用户来讲,现在也已经开始有越来越多的企业领导和IT管理者 ...

  4. 大数据6_03_Kafka命令行操作

    3 Kafka命令行操作 总结: # 和topic有关的命令:都使用 kafka-topics-sh --zookeeper hadoop102:2181 + 操作 # 和生产消息有关的:使用brok ...

  5. 大数据时代物联网技术发展前景与应用分析

    注:本文由音序为GD的童鞋原创,在此代为发表 摘要: 当前,以物联网.大数据和云计算为代表的新一代信息技术发展迅猛,目前正在由IT时代转向DT时代.物联网技术正在通过与其它新技术的不断融合,加速向智能 ...

  6. 爱肤宝医生产品负责人王照陆:大数据时代下的人工智能医疗

    嘉宾介绍 王照陆:爱肤宝医生产品负责人.前华为研发工程师,CSDN博客专家,同济大学MBA,负责过医疗智能硬件血压.血糖.体脂等产品设计与数据分析:现负责皮肤医疗大数据产品,从0-1实现皮肤轻问诊预约 ...

  7. 量化学习:大数据时代的学习方式

    摘 要:未来人工智能.大数据.学习分析等技术被广泛应用于教育教学中,量化学习将成为新的研究热点.本研究首先对量化学习的内涵.特征.工具和方法进行概述,然后阐述了量化学习的价值意义和应用案例,进而分析了 ...

  8. 大数据时代的商业智能

    在当今的大数据时代,数据越来越多,人们的数据意识越来越强,随着大数据概念的上台,许多人认为传统的商业智能即将要被新起的大数据所替代,然而事实并不是如此,两者的关系其实十分密切,下面就让我们谈一谈大数据 ...

  9. 决胜HadoopSpark大数据时代:HadoopYarnSpark企业级最佳实践

    王家林:Spark.Docker.Android技术中国区布道师. 联系邮箱18610086859@126.com 电话:18610086859 QQ:1740415547 微信号:186100868 ...

最新文章

  1. 专家认为自动驾驶汽车需要很多年的五个原因
  2. linux程序运行段错误,Linux下段错误调试技巧
  3. 2-1 nodejs和npm的安装和环境搭建
  4. vue给input file绑定函数获取当前上传的对象
  5. 用python程序编写二元多项式_Python多项式回归的实现方法
  6. [CareerCup] 4.4 Create List at Each Depth of Binary Tree 二叉树的各层创建链表
  7. 3D 机器视觉 02 - FPGA生成N位元格雷码
  8. for range循环通道
  9. [Ext JS6]Sencha Cmd
  10. 聊Code review(上)
  11. Linux 上的数据可视化工具
  12. 查看游戏帧数:FPS的软件
  13. mysql workbench画er_MySQL Workbench画ER图
  14. 人体姿态识别OpenPose
  15. ssm企业人事管理系统人事管理系统(企业人事管理系统)企业人事人力资源管理系统
  16. 怎样用计算机做周计划表,电脑如何制作学生学习计划表
  17. iCloud开发入门
  18. HTML5个人简历模板制作
  19. 【linux内核分析与应用-陈莉君】IO空间管理
  20. Microsemi Libero SoC 教程1 (Libero开发环境)

热门文章

  1. 关于微软学生开发者峰会的心得
  2. TightVNC Java Viewer
  3. 软件测试 测试报告以及分类
  4. Web大学生个人网页作业成品——学生个人爱好展示网站设计与实现(HTML+CSS+JS)
  5. Ghost ,博客系统代名词
  6. google 2008实习生招聘
  7. 简述MES系统的11大核心功能模块
  8. 男性≈机器?男性号≈僵尸号?,王思聪的抽奖撕开了微博算法猫腻
  9. 画出自己美好的人生。
  10. 图像质量评估(8) -- 低光(Low Light)