随着大数据技术体系的发展，越来越多的企业应用大数据技术支撑自己的业务发展。数据采集作为大数据的起点，是企业主动获取数据的一种重要手段。数据采集的多样性、全面性直接影响数据质量。
企业获取数据的渠道分为内部和外部两个渠道。内部渠道包含自己建设的业务系统，如电商系统、门户网站、门户论坛等。外部渠道包含爬虫系统爬取的数据、三方合作平台数据、公共社交平台数据等。那么如何从这些渠道获取数据？下面简单地介绍一下常用的数据采集工具。
结构化数据采集工具。
结构化数据在分析型的原始数据占比比较大，大部分经过预处理进入数据仓库进一步多维分析和数据挖掘。常用的数据采集工具有：
1 Apache Flume
支持离线与实时数据导入，是数据集成的主要工具。
2 Apache Sqoop
主要使用JDBC等工具连接关系型数据库与Hadoop生态圈的文件系统，通过配置文件配置双向连接信息后，通过命令完成数据的导入导出。
半结构化数据采集工具
半结构化的数据多见于日志格式。对于日志采集的工具，比较常见的是
1 Logstash
Logstash与ElasticSearch、Kibana并称为ELK，是采集日志的黄金搭档。
2 Apache Flume也多用于日志文本类数据采集。
非结构化数据采集工具
1 DataX
DataX轻量级中间件，在关系型数据库导入导出性能比较优异。支持多种数据类型的导入导出。
流式数据采集工具
1 Kafka
性能优异超高吞吐量。
Binlog日志采集工具
1 Canal
基于MySQL数据库增量日志解析提供增量日志订阅和消费功能。
爬虫采集框架与工具
1 Java栈，Nutch2、WebMagic等。
2 Python栈，Scrapy、PySpider
3 第三方爬虫工具，八爪鱼、爬山虎、后羿等等。
相关推荐
-
什么是域名,有什么作用（域名是什么 有什么用）
一、域名（英语：DomainName），又称网域，是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称，用于在数据传输时对计算机的定位标识（有时也指地理位置）。 域名是一个网站最重要的虚拟资产，相...
-
主板z370和b360（b360主板和z370主板的区别）
在Z370主板发布上架了半年后，我们终于迎来Intel 300系主板中定位中低端的H370/B360主板，从此我们不再需要忍受使用Z370搭配i3 8100这样的奇葩装机方案。此前我们在Z370主板首发评测（跳转门）已经看到Z370主板是彻...
-
小程序游戏开发框架（2d小游戏 开发软件）
《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的是一个支持2D、3D的游戏与应用开发的的小游戏引擎——LayaAir。 支持WebGL 1.0与2.0 自适应。支持...
-
笔记本电脑用久了卡怎么解决（笔记本电脑用时间长了变卡解决方法）
笔记本电脑是我们日常生活中经常使用的设备之一。但是很多人在使用笔记本电脑的时候，通常不太注意它的保养，导致笔记本电脑出现一些故障，不到两三年就已经差不多用坏了。为了帮助你提高笔记本电脑的工作效率，延长...
-
论文查重paperpass和知网哪个严格（paperpass查重与知网查重差别大吗）
个人感觉：1.pp查重性价比较高。（建议第一遍用） 2.知网是大部分学校用的查重系统，最正规，定稿必须用它，才能安心。 3.大y查重可能因为数据库图书更多，所以结果~很~微妙吧。 正文： 我查的是毕业论文四万七千字...
-
吊兰黄叶什么原因（吊兰黄叶挽救方法）
吊兰可以净化室内空气，虽然是非常普通的花草，但是吸收甲醛本领大，一个房间放一盆金边吊兰，金心吊兰，就可以把整个房间的空气变得清新又干净，好多朋友家里都有养过一两盆吊兰，吊兰从多年前的一小盆，现在繁殖到...