Spark数据湖
DataFunTalk优质科技领域创作者
阿里云基于 Spark 的云原生数据湖分析实践
【数据湖统一元数据与权限】本文是基于阿里云数据湖构建与分析DLF的数据湖元数据、安全、治理、加速解决方案。点击了解详情：网页链接
阿里云吹嘘的成份很多。用过很多阿里云产品，根本无法商用，比如数据湖产品，网站介绍得神乎其神，其实还是测试产品，功能极少，根本无法用。还有实时计算产品Blink，其实就是开源产品Flink，外面封装下。还有Maxcompute，也是开源产品Hive。
【基于Delta lake、Hudi格式的湖仓一体方案】整个最佳实践是基于MaxCompute的湖仓一体架构，模拟公司使用场景。比如公司 A 使用云上关系型数据库 RDS 作为自己的业务库，同时使用阿里云 EMR 系统做日志数据采集。将数据汇集到云上对象存储 OSS 上，引入了数据湖常会用的存储机制 Delta Lake 和 Hudi 为数据湖提供流处理、批处理能力。基于Delta lake、Hudi格式的湖仓一体方案-阿里云开发者社区
从上海回杭州，发现杭州有几个让人误解的地方：
第一、杭州只有个西湖？很多人来到杭州游玩，对于杭州的印象就是杭州有个西湖，除了西湖以外可能很多人觉得什么都没有了，但实际上杭州可不止一个西湖，还有很多其它风景名胜，光湖就不止一个西湖，还有风景如画的湘湖，绝美的千岛湖，人与自然和谐相处的典范-西溪湿地、世界文化遗产京杭大运河。这些都是享有盛名的风景名胜之地。可以说，杭州因为西湖而出名，但杭州绝不止有一个西湖，还有更多的湖。
第二、杭州生活成本很高？很多人说杭州的生活成本很高，说实话我不否认杭州的房价高，但是论食物这些杭州的生活成本其实并不是那么高。很多在小地方的人甚至惊讶杭州的菜价怎么那么便宜，30块钱在超市里就能买到很多素菜，肉价相对来说偏贵一些，但是今年全国各地的行情都差不多，所以相对来说并不是那么的昂贵。说实话，在杭州，其实也不只是杭州，只要在大城市，除了房租之外的生活成本其实并不是很高，当然你要是享受主义者在哪里生活成本都高。
第三、阿里就是个电商？提到杭州，人们就会想到阿里，提到阿里，人们就会想到电商。其实阿里远不止是个电商企业，它还研究芯片，甚至搞出了AI芯片、阿里云这些产品，解决了图像、视频识别、商业场景的AI推理运算问题，甚至阿里之前搞出的健康码就帮助解决了很多问题，让人们能够尽早复工复产。其实说了这么多，证明一点，阿里不仅仅是个电商企业，还搞科技。
那么，你们对杭州有过这样的误解吗？
【今日热点新闻一览】
1、近日，国务院批复同意商务部等部门组织实施《“十四五”对外贸易高质量发展规划》，其中明确，“十四五”时期贸易综合实力将进一步增强，货物贸易规模优势稳固，国际市场份额稳定，进口规模持续扩大。贸易安全体系进一步完善，粮食、能源资源、关键技术和零部件进口来源更加多元。优化进出口商品结构，降低进口关税和制度性成本。
2、中共中央、国务院、中央军委决定，给聂海胜颁发“一级航天功勋奖章”，给刘伯明颁发“二级航天功勋奖章”，授予汤洪波“英雄航天员”荣誉称号并颁发“三级航天功勋奖章”。
3、工业和信息化部、公安部近日联合约谈阿里云、百度云两家企业相关负责人，要求两家企业切实履行网络与信息安全主体责任，严格落实《网络安全法》等法律法规要求。
4、近日，中央网信办印发通知，要求严把娱乐明星网上信息内容导向，建立负面清单，禁止娱乐明星网上信息含有宣扬畸形审美、诱导非理性追星等内容。
5、23日，最高人民法院举行新闻发布会，强调对年底不立案问题坚决做到零容忍，要求各级法院发现一起，查处一起，通报一起，决不姑息。
6、记者（23日）从国家电网了解到，为保障华北、华东地区稳定电力供应，我国“西电东送”两条直流大通道正高效传输电能，截至目前，已累计外送宁夏电量突破5000亿千瓦时。
7、山西公布，10月山西规模以上原煤产量10275.2万吨，同比增长5.2%，已连续3个月产量超亿吨。
8、江苏公布，太湖已连续实现饮用水安全、不发生大面积湖泛，水质藻情总体达近5年最好水平。
9、北京时间23日7时45分，我国在酒泉卫星发射中心成功将高分三号02星发射升空。卫星顺利进入预定轨道，发射任务获得圆满成功。
10、23日，中国第38次南极考察队第二批队员101人随“雪龙2”号从上海出发，前往南极长城站等地执行科考任务。
11、中央气象台预计，23日20时至24日20时，黑龙江东部和北部、新疆北疆北部等地有小到中雪或雨夹雪，局地有大到暴雪；西藏、四川、云南等地部分地区有小雨，局地中雨。
【国际热点资讯一览】
1、根据世卫组织最新实时统计数据，截至欧洲中部时间11月23日18时45分（北京时间11月24日1时45分），全球累计新冠肺炎确诊病例257469528例，累计死亡病例5158211例。
23日全球新增新冠肺炎确诊病例436031例，新增死亡病例6433例。
2、当地时间11月23日，根据美国约翰斯·霍普金斯大学数据，截至美东时间当天16时22分（北京时间11月24日凌晨5时22分），美国累计新冠肺炎确诊病例47953028例，累计死亡773275例。
两项数据与24小时前相比，新增确诊病例108018例，新增死亡病例1302例。
3、美国白宫发言人当地时间22日表示，拜登计划在2024年再次竞选美国总统。
4、印度官员和媒体当地时间22日表示，自18日以来印度南部发生的暴雨已致至少60人死亡，数千人流离失所。
#师董会#【师董资讯】5月7日，在《小康》杂志社副社长赖惠能及师董会首席智慧官、浙江创建科技有限公司董事长张旭光两位师董会导师的共同推荐下，师董会董事长胡海平于5月7日访问浙江省丽水市遂昌县，拜见了遂昌县委书记张壮雄和遂昌县副县长谭国庆。
5月8日上午，胡海平董事长专题考察数字绿谷第二创新空间，被遂昌县优美的风景及领导超前的开拓意识和超强的执行力感到震撼。张壮雄书记介绍了遂昌县高度重视数字经济、智慧商业，以及在仙侠湖的“天工之城·数字绿谷”项目。他指出：县委县政府高度重视营商环境，在短短两年不到的时间，先后吸引了阿里云、网易、中电海康等著名企业进驻等发展成果。
胡海平董事长对遂昌县的发展表达了赞叹和高度认同。同时，向张壮雄书记介绍了师董会丰富的导师资源和平台资源，以及提供实操指导、融资引流及资源对接等互助服务。报告中，胡海平介绍了自己曾是最早参加达沃斯论坛的成员。在1999年，曾到奥地利萨尔茨堡担任演讲嘉宾，后又相继参加了墨尔本、香港的达沃斯论坛。张书记在了解了胡海平的背景后，结合遂昌县数字经济发展需求，提出了打造“中国式达沃斯论坛”的合作意向，希望以论坛为契机，为遂昌创建先进智慧并有中国特色的经济文化品牌，培育加速器、孵化器，打造产业企业服务集聚的创新创业生态链。师董会表达了愿意做中国式达沃斯论坛数字绿谷第二创新空间的内容运营商，书记表示赞同。会谈中，双方达成合作意向，进入框架协议起草阶段。（照片左一：张壮雄，左二：谭国庆，右一：张旭光）#找大咖就上师董会#
