大数据的含义和作用是什么?
首先解释大数据。
大数据是指大数据集。过去,由于存储介质的限制,大量数据无法存储。每个数据都经过仔细选择,一些次要数据将在保留重要数据的同时丢失。
伴随着网络速度的提高,存储介质的低成本,通过获取、存储,随着数据的增加,我们可以分析越来越多的数据。
我只是做一个模型来解释大数据收集和应用的过程。
如果我想分析疫情期间世界人民对韩国疫情的看法和态度,我该怎么办?
以前的方法是问卷调查,选择几个人发几个问卷,然后分析,时间慢,样本量不足,有很强的局限性,那么有大数据呢?
首先,利用爬虫技术(收集阶段)下载社交媒体、今日头条、微博等大规模数据。仅此一次,我就可以收集数百万条数据。
但由于他收集的数据不合逻辑,他不是结构化数据:即具有固定格式和有限长度的数据。例如,填写的表格是结构化数据,国籍:中华人民共和国,国籍:汉,性别:男性,这被称为结构化数据。
然后整理(数据清理),比如清理发表评论的人的地理位置、性别、年龄和关键词。转化为结构化数据
在以上步骤之后,我们有可用的大规模数据,然后用简单的编程提取一些关键词,如“控制”、“口罩”、“完蛋”等。
你可以进行情感分析。根据原有的语言情感库,你可以知道你对韩国疫情的看法、持有这些观点的人的年龄、地区和性别。进一步了解,为相关心理部门和政府部门提供决策参考。同时,作为未来的流行病,我们应该如何处理它,并提供一个可行的解决方案。
对于个人企业来说,你可以通过大数据分析知道你的产品是否受欢迎,如何改变,你的同龄人是如何做到的,买家对他的评论是什么。有很多应用程序方向。
0