27

新工作第二十周

 4 years ago
source link: http://mp.weixin.qq.com/s?__biz=MzAwOTU4NzM5Ng%3D%3D&%3Bmid=2455771169&%3Bidx=1&%3Bsn=a2f6d011069ead969afe5c0dbc5adb0c
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

本周就是搜索项目的落地,还算顺利,遇到的最大问题就是Logstash同步,某一张表就是同步不过去(其他同类型的表没问题),可log也没有具体的报错,最后在小伙伴们的鼓励下,一条条排查,找到那条有问题的数据(其实数据没有问题),才算解决。这应该是Logstash的Bug,对于track字段一定要使用int类型,这是我的个人经验。

在具体做的时候,最重要的就是elasticsearch建模,然后就是不断的写search语句,语句没有绝对的好坏,就是不断组合测试,积累经验。写出性能高、符合业务需求的好语句并不容易,所以等一期上线后,还有很多工作要做。

elasticsearch的API很棒,如果你用PHP写的时候,想省力一点(避免学习一些特定PHP语句),就用原生的Json语句。

建模最重要的就是定义mapping,预先定义mapping能够节省空间,但有些字段中还包含各式各样的对象,属性是动态的,所以在这次项目中,无需搜索的字段没有预先定义mapping,这方面elasticsearch还是很灵活的。

对于本次产品需求,我觉得是有一定特色的,但具体效果还是要上线后才能看出来,很难提前感知出来,重点应该是二期。

昨天推荐了一个专栏《从0开始学大数据》,这个专栏代表了极客时间产品的风格,写的人大部分是架构师,内容偏方法论和框架性,在语言组织和内容结构性上非常好,但有点务虚,就是给人一种感觉“这个专栏太牛逼了,读完后很长见识,但好像啥也没掌握”,对比慕课上的教程(上周看了一个,不完全具有代表性),给人感觉务实,能让人快速上手,所以说各有优缺点。

为什么推荐这个专栏呢?它对于理解大数据周边的技术很有好处,至少让你清晰的知道大数据究竟讲了什么、可以解决那些问题。

对照elasticsearch全家桶,它和大数据的关系是什么呢?等这个项目过后,还有很多可以研究的,比如学习数据聚合功能(替代Mongodb,Mongodb也是今年想好好用用的,作为MySQL的补充)、基于Kibana的可视化数据分析、Xpack研究,它的目标应该是大数据平台。

阿里云有一款服务OpenSearch,它是一个分布式搜索引擎平台,它肯定不是elasticsearch的改造版,也不是一个底层的技术服务,而是一款产品服务,因为搜索服务在每个产品中都会用到(这也是lucene产生的原因),阿里云将其包装出来。

既然是包装,是能满足大部分搜索需求的,但灵活性肯定不如elasticsearch,它的优点就是有一些行业数据(比如分词),这种业务经验是我们短时间很难获取的。阿里云全家桶一旦用了就摆脱不了了,刚进公司的时候,我还想使用RDS代替自建的MySQL,现在暂时没有这想法了,不仅仅是成本的问题,因为你不了解它的话还是会出问题,对于核心服务,使用自建还是托管需要一个平衡。

OpenSearch可以试用一下,至少了解下它是如何产品化的,反推出来会进一步理解搜索业务的特点。后续打算将阿里云的产品都了解一遍,为什么有这产品?应用场景?技术关注点?

下周也要上班了,虽然害怕,但也是没办法,总不能一直不上,打算和家人隔离,自己躲在屋子里,就是地铁风险比较高,口罩也不多,带着还特别难受,容易掉,估计第一天上班很不适应,关键现在好像也没找到病y体,也没发现治好的原理,这能不让人害怕吗。

这周空气也不太好,前天倒不错,心情好了不少,心情好不好真的要靠自己的头脑决定,想得开自然就会好。

在家办公其实并不好,第一是沟通太不方便了,其次就是一大堆的群,劈里啪啦的,干扰太多,最后就是自己的自制力了。

在工作上,意识到自己的一个缺陷,先听人说完再说话;说正直的话(发自内心和责任感),但要注意别人的感受;工作中要进入心流状态就好了;内心平和,不要急着要结果,不平和是因为不自信和焦虑;找到自我,以我为主。

另外还要进一步提早储备一些技术,否则到时候很难受,也要重视一些可能会出现的问题,比如安全问题,现在流行的一个攻击就是挖矿,比如我的ECS年前就中招了。

等疫情过后,要重新规划(思考中)下工作方式(不能疲于奔命,计划性),学习方式(如何在工作中学习,学习后应用,储备,时间分配,重点是什么),家庭计划(什么是重要的事情,身体健康,如何认知这个世界,如何保护自己),家庭氛围(开开心心,不受任何影响),让自己平和一点。

fEr6N3I.jpg!web


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK