美文网首页
工作日常2

工作日常2

作者: windUtterance | 来源:发表于2022-07-19 17:31 被阅读0次

    2022-07-20

    1. 研报抽取接口中新增了以下操作逻辑:
    • 机构组织的统计选举操作
    • 组织机构实体与金融指标实体相关联的操作
    • 金融指标变化内容的遍历赋值操作
    • 金融指标有无具体数值的判断操作
    • 在生成节点与边的过程中,将构建逻辑优化为:首先检查节点是否存在,如果不存在则生成该节点并将边的尾节点id赋值为当前节点id;否则到节点字典中寻找当前节点的id并赋值给边的尾节点id。最后检查边是否重复,如果不重复则将当前的边添加至边字典中

    2022-07-21

    1. 修改知识抽取接口中知识从抽取到入库的持久性存储过程的代码逻辑

    2022-07-22

    1. 编写新的问答接口

    2022-07-25

    1. 继续开发问答接口

    2022-07-26

    1. 初步完成新的问答接口
    2. 写绩效考核表的相关工作

    2022-07-27

    1. 和前端联调问答接口的小bug

    2022-07-28

    1. 问答接口新增同名指标的时间属性检测操作以及相对应的遍历组装

    2022-07-29

    1. 完善了问答接口对待查询指标的处理逻辑

    2022-08-01;

    1. 在java中,递增不是原子性的操作,因为在递增过程中,任务可能会被线程机制挂起
    2. 分析设计和原有企业图谱联合提问的后端处理逻辑

    2022-08-02

    1. 编写联合企业图谱提问的后端处理逻辑代码

    2022-08-03

    1. 继续实现昨天的逻辑场景

    2022-08-04

    1. 完成联合企业图谱进行提问的后端逻辑代码

    2022-08-05

    1. 查看图数据库技术在金融风控中的应用博客

    2022-08-08

    1. 学习git相关操作

    2022-08-09

    1. 在本地创建项目分支,调试项目,查找无法启动的错误原因

    2022-08-10

    1. Repository层位于业务层数据层之间,将两者隔离开来,在它的内部封装了数据查询和存储的逻辑
    2. 阅读spring-data-neo4j6.0.13的开发文档

    2022-08-11

    1. 继续阅读SDN开发文档

    2022-08-12

    1. 阅读完毕SDN开发文档

    2022-08-15

    1. 在电商图谱项目中测试部分企业图谱项目的老接口更换了SDN6.0版本的新注解后是否仍能使用

    2022-08-16

    1. 熟悉sdn6的@Node,@Relationship,@RelationshipProperties注解的用法

    2022-08-17

    1. 创建zhangyw_pro本地分支和远程分支,并将两者关联

    2022-08-18

    1.POJO是一个简单的、正规Java对象,它包含业务逻辑处理或持久化逻辑等,但不是JavaBean、EntityBean等,不具有任何特殊角色和不继承或不实现任何其它Java框架的类或接口。

    1. Neo4j中的@Query注解可以将查询到的复杂结果转换为单纯的java对象,查询到的数据会填充到这个对象中,这个对象紧接着会被序列化然后送到下游的不同应用中。为了满足上述特性,这个对象应该添加@QueryResult注解。以下为具体示例:
    public interface MovieRepository extends Neo4jRepository<Movie, Long> {
    
        @Query("MATCH (movie:Movie)-[r:RATING]\->(), (movie)<-[:ACTS_IN]-(actor:Actor) " +
               "WHERE movie.id={0} " +
               "RETURN movie as movie, COLLECT(actor) AS 'cast', AVG(r.stars) AS 'averageRating'")
        MovieData getMovieData(String movieId);
    
        @QueryResult
        public class MovieData {
            Movie movie;
            Double averageRating;
            Set<Actor> cast;
        }
    
    }
    

    2022-08-19

    1. 在类中定义其他sdk中的工具类时,final关键字慎用,因为在系统启动调用构造函数的过程中要对这个工具类进行实例化,可能会出现系统扫描不到这个工具类的情况(在用hades整合知识图谱电商项目中出现过)。
    2. 项目的jdk升级为11时,内部用到了var关键字,然后maven install时报错,找不到符号。网上的解决办法。老员工的解决办法是在pom文件中新增了maven-compiler-plugin插件:
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <configuration>
          <source>11</source>
          <target>11</target>
        </configuration>
      </plugin>
    </plugins>
    

    2022-08-22

    1. 合并代码,推送代码分支
    2. 构思查询任意三点之间路径的接口实现方法

    2022-08-23

    1. 查找Field enterpriseRepository in com.czb.fkgp.entkg.xxx required a bean named 'neo4jTemplate' that could not br found解决办法

    2022-08-24

    1. 翻阅SDN开发文档中关于neo4jTemplate部分,在项目中新增Neo4jConfiguration配置类,查找启动需要的EntityInstantiators类,修改对应pom文件中的spring-data-commons版本
    2. 将queryPersonInfo接口相关的所有改动提交至svn远程仓库

    2022-08-25

    1. 将项目无法启动的原因定位到spring-boot版本与某些jar冲突
    2. 搞了半天maven
    3. 在eckg中添加Repository并测试

    2022-08-26

    1. git初始化相关操作
    2. Git远程分支强制覆盖本地分支:git fetch --all && git reset --hard origin/develop(想要覆盖的分支名称) && git pull或者git pull --force origin develop:develop
    3. Git强制推送本地分支到远程:git push -u origin develop

    2022-08-29

    1. 查找SDN6的repository查询进行投影的方法,尝试理解官方文档中的Because Spring Data Neo4j works heavily record-oriented under the hood, it is important to keep this in mind and not build up a result set with multiple records for the same "root node".这句话

    2022-08-30

    1. 撰写专利意见陈述

    2022-08-31

    1. 完成专利的意见陈述

    2022-09-01

    1. 完成enterpriseRepository中关于返回类型为ResultData接口百分之八十的升级动作

    2022-09-02

    1. 通过neo4jClient方式进行enterpriseRepository中GroupMember自定义查询类的投影操作,替换相应接口函数

    2022-09-05

    1. 编写LabelInfoResult类的投影操作

    2022-09-06

    1. 检查queryZSZHRelationGenealogy接口中的实体节点是否有自身扩散的行为,检查结果为没有

    2022-09-07

    1. 配合测试联调,修复bug,更新测试环境和验证环境的相关应用

    2022-09-08

    1. neo4j中case用法举例:match p=(:Person)-[:qmStaff|inv|tenholdmerge|qmInv*1..3]->(e:Enterprise {name:'xxx'}) where length(p) <= 3 unwind nodes(p) as point with case labels(n)[0] when 'Person' then point end as point with collect(distinct point) as persons return persons

    2022-09-09

    1. 通过反射泛型的方法对一个类的内部属性赋值
    private static <T> void setProperty(Map<String, Object> properties, T t) {
        try {
            Field[] declaredFields = t.getClass().getDeclaredFields();
            for (Field declaredField : declaredFields) {
                PropertyDescriptor propertyDescriptor = new PropertyDescriptor(declaredField.getName(), t.getClass());
                Method writeMethod = propertyDescriptor.getWriteMethod();
                if (properties.containsKey(declaredField.getName())) {
                    writeMethod.invoke(t, properties.get(declaredField.getName()));
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    

    2022-09-19

    1. 完成专利的第二次审查意见的意见陈述

    2022-09-20

    1. 与政企研发部的开发人员开会沟通项目内容
    2. 为其他开发人员提供问题解答

    2022-09-21

    1. 股权图.png
      查询控股人实际控股比例:
      MATCH (e:Enterprise {name:'上海起航'})<-[:hold]-(p) WITH e,p MATCH path=(p)-[:hold*]->(e) WITH p,REDUCE(x=1, a IN relationships(path)|x*a.insto) AS insto ORDER BY insto DESC RETURN distinct p.name, sum(insto) AS insto limit 1

    2022-09-22

    1. 给政企那边写查询给定的两个企业之间的三种投资关系的接口

    2022-09-23

    1.优化昨天写的借口

    2022-09-26

    1. 编写廉洁家书
    2. 和政企研发部那边打电话讨论需求,编写查找路径交点的cypher

    2022-09-27

    1. match path1=(p)-[:inv|qmInv|tenholdmerge*..5]->(e1:Enterprise {name:{name1}}) with p, e1, path1
      match path2=(p)-[:inv|qmInv|tenholdmerge*..5]->(e2:Enterprise {name:{name2}}) with p, e1, e2, path1, path2
      where single(var in nodes(path1) where var in nodes(path2)) and single(var in nodes(path2) where var in nodes(path1))
      with shortestPath((p)-[:inv|qmInv|tenholdmerge*..5]->(e1)) as shortPath1, shortestPath((p)-[:inv|qmInv|tenholdmerge*..5]->(e2)) as shortPath2
      return nodes(shortPath1)+nodes(shortPath2) as commonEnt unwind commonEnt as res return distinct res
    2. 开会讨论省资源厅的项目需求,分析思考如何求得共同投资人分别对每个企业的控制比例

    2022-09-28

    1. 通过session写昨天的接口

    2022-09-29

    1. 测试昨天的接口,遇到了neo4j死锁的问题,遂查找相关资料
    2. 资料中这样介绍到: 通过事务函数得到的任何查询结果都应在函数中被消耗掉,这是因为当超出范围时,连接绑定的资源无法被正确管理,因此事务函数返回的值应为派生值而非原始值。在一个会话(session)中,同一时刻只能存在一个结果流,因此当一个查询的结果在另一个查询执行前被未完全消耗时,剩余部分会自动缓存在结果对象中,当查询结果数量很多时,结果的缓冲区就会很吃内存,出于此原因建议尽可能地消费掉当前结果

    2022-09-30

    1. 查找接口卡死问题过程中,发现是其中一种情况cypher查询超时,通过设置transaction超时时间并将四种情况封装在四个不同的seesion中进行查询,暂时解决了接口卡死的问题

    2022-10-08

    1. 开发查询两个企业间所有投资路径的接口和查询企业详细信息的接口
    2. 撰写commonInvestorAndRatio的接口文档

    2022-10-09

    1. 引入dubbo服务时,需要在启动类上加以下注解@ImportResource(locations={"classpath:appCtx-dubbo.xml"})
    2. 给政企研发部写接口文档
    3. 调试数据治理那边给的dubbo服务
    4. 阅读企业准入接口,开始梳理绘制流程图

    2022-10-10

    1. 尝试解决jdk11java.lang.classnotfoundexception:javax.xml.ws.bingingprovider报错问题,解决方法是在pom文件中添加
    <dependency>
        <groupId>jakarta.xml.ws</groupId>
        <artifactId>jakarta.xml.ws-api</artifactId>
        <version>2.3.3</version>
    </dependency>
    
    1. 合并代码,解决冲突

    2022-10-11

    1. 绘制股权穿透接口的流程图
    2. 在szytQueryServiceImpl中实现股权穿透接口

    2022-10-12

    1. 绘制企业准入的流程图

    2022-10-13

    1. 调整股权穿透接口查询参数,生成金科平台需要的服务json文件,将改造后的dubbo服务打包推送至maven仓库

    2022-10-14

    1. 查看企业准入的接口代码逻辑
    2. 服务发布到openapi,和政企那边联调

    2022-10-17

    1. 编写企业准入接口
    2. 绘制文件定时任务的流程图

    2022-10-18

    1. File.renameTo()方法注意事项:
    • 如果被重命名的文件已经存在,那么renameTo不会成功
    • renameTo成功后,原文件会被删除
    1. 梳理绘制完成三个文件定时任务的流程图

    2022-10-19

    1. 优化查询两个企业路径接口的cypher
    2. 股权穿透接口中过滤投资关系以外的节点
    3. 备份neo4j社区版之前的数据,新建数据和索引
    4. 写完了企业准入的接口

    2022-10-20

    1. 测试企业准入接口全流程正确性,发现无法写入文件的问题,正在排查中......

    2022-10-21

    1. 排查文件无法写入的问题,发现是参数传递错误导致
    2. 修改定时任务的相关cypher

    2022-10-24

    1. 查看文件处理的异步代码
    2. 给政企研发部提供测试数据

    2022-10-25

    1. 整理提交企业准入接口的相关代码

    2022-10-26

    1. 梳理图数据库的更新链路
    2. 梳理省资源厅项目部署到测试环境时所需的材料

    2022-10-27

    1. 改造原kgp项目升级后的相关queryPersonInfo接口中
    2. 查看省资源厅项目需要的九个表在原数据库中的大小

    2022-10-28

    1. 与数据治理联调中数集团的查询企业具体信息接口
    2. 整理上测试的项目需要删除的冗余模块和代码

    2022-10-31

    1. 创建省资源厅项目测试需要的数据库和相应的数据库表
    2. 统计省资源厅项目用到的配置项;删减提炼省资源厅项目代码

    2022-11-01

    1. 查找可用的用于部署项目的服务器
    2. 搭建测试环境

    2022-11-02

    1. 优化省资源厅项目因图数据库升级导致的笛卡尔内积查询预警(尽量多用with关键字)
    2. 测试企业准入接口在新数据库下的可用性

    2022-11-03

    1. 批量清空数据库表:select concat('truncate table ', table_name, ';') from information_schema.TABLES where table_schema = 'kgp_szyt' into outfile '/opt/data/table.txt'将查询结果直接导出到table.txt文件,再直接source 执行该文件即可。
      上述sql涉及到了mysql的一个配置项,即secrue_file_priv,这个参数用来限制数据导入和导出操作的效果,在mysql配置文件my.cnf的[mysqld]区域下配置:
    • 如果这个参数设为空或"/",则MySQL服务允许将将数据导出到任意目录。
    • 如果这个参数设为一个具体的目录名,则MySQL服务只允许在此目录中执行文件导入和导出操作。这个目录必须存在且设置为mysql用户权限,MySQL服务不会创建它;
    • 如果这个参数为NULL,则MySQL服务会禁止导入和导出操作。
    • 如果没有这个参数配置,则Mysql服务默认是没有打开这个功能,即不能进行数据导入导出操作。
    1. linux全盘查找文件命令:find / -name xxx
    2. 重新修改企业接口内部逻辑

    2022-11-04

    1. 新建接口请求的相关流水表以及项目中的实体类
    2. 添加省资源厅相关接口的记录流水日志逻辑

    2022-11-07

    1. 新增股权穿透、共同投资人、企业单向投资路径共计三个接口的请求流水记录操作
    2. 修改中数集团中族谱数据的投资关系入库时的处理逻辑(大于1时直接除以100)
    3. Mac安装brew: /bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"

    2022-11-08

    1. git stash使用方法:git stash save "temp" --> git checkout develop --> git pull --> git checkout own_branch --> git merge develop --> git stash list --> 查找名为temp的暂存区id --> git stash apply id --> git stash clear

    2022-11-09

    1. 配置mac环境变量
    2. 对老项目个人信息查询接口做新版本SDN的适配,重新构建cypher

    2022-11-10

    1. 编写投产手册的图数据库搭建章节
    2. 解决了服务类中无法依靠读取配置文件实例化neo4j驱动的问题,根源是项目启动过程中的类的内部加载顺序问题,可以用@PostConstruct注解解决

    2022-11-11

    1. 完善省资源厅的共同投资关系查询接口的返回码赋值逻辑
    2. 完成投产手册中图数据库服务搭建章节

    2022-11-14

    1. 详读《针对刷单检测的多视角异构时态图神经网络模型》一文

    2022-11-15

    1. 清理图数据库四台服务器中的冗余文件,为省资源厅项目搭建验证环境
    2. 结合银行业务场景构思专利内容
    3. 查看neo4j官方文档,检查集群部署方法是否存在更新

    2022-11-16

    1. 搭建neo4j-enterprise-4.4.14核心集群

    2022-11-17

    1. 修改投产手册中neo4j集群服务搭建部分,新增jdk安装内容
    2. 进行neo4j数据库认证的测试

    2022-11-18

    1. rz命令可以上传本地文件至服务器
    2. 修改四台验证服务器的monitor密码和root密码;在验证服务器上安装配置jdk11时发现jdk11的环境变量在每次重新登入时都不会生效,需要重新source
    3. neo4j4.4以后有个新函数:call db.schema.visualiztion()试一试,蛮有意思的

    2022-11-21

    1. 搭建省资源厅项目验证环境的数据库集群
    2. 重新部署省资源厅项目测试环境的数据库集群

    2022-11-22

    1. 验证环境新建kgp用户,重新部署图数据库集群

    2022-11-23

    1. 修改投产手册
    2. 验证neo4j-admin backup命令是否能够用于恢复集群中的单台数据
    • 1.在集群中的每台服务器上执行:neo4j-admin backup --backup-dir=/tmp/4.4.9 --database=neo4j --include-metadata=all
    • 2.在集群中的任意一台服务器上通过cypher-shell执行DROP DATABASE neo4j;
    • 3.在集群中的每台服务器上执行neo4j-admin restore --from=/tmp/4.4.9/movies1 --database=neo4j
    • 4.在集群中的任意一台服务器上通过cypher-shell执行CREATE DATABASE neo4j;
    • 5.在集群中的任意一台服务器执行cypher脚本重建被恢复数据库的用户和角色:cat data/scripts/movies1/restore_metadata.cypher | bin/cypher-shell -u neo4j -p password -a localhost:7688 -d system --param "database => 'movies1'"
    1. 修改企业准入接口逻辑,尝试为请求准入的企业单独赋予channel字段

    2022-11-24

    1. 统计目录下文件的个数(不包括目录):ls -l | grep "^-" | wc -l
      统计当前目录下文件的个数(包括子目录):ls -lR | grep "^-" | wc -l
    2. neo4j运行时堆内存推荐配置命令:neo4j-admin memrec --memory=64g
    3. 检查企业准入接口修改后,后续图数据库定时更新图谱任务的逻辑是否正确

    2022-11-25

    1. 查看neo4j配置文件官方文档
    2. 省资源厅项目投产

    2022-11-28

    1.搜集资料构建专利的技术背景

    2022-11-29

    1. 完成知识图谱平台的维护手册的更新
    2. 撰写年终总结

    2022-11-30

    1. cypher查找冗余的某个节点属性:match (e:Enterprise) with e.name as name, count(*) as num return name, num
    2. 填写投产手册中更新neo4j索引约束的部分

    2022-12-01

    1. 查找定时任务扫描文件录入信息到图数据库过程中出现的节点信息分片录入的原因

    2022-12-02

    1. 撰写专利的说明书摘要
    2. 构思专利在银行领域的应用场景

    2022-12-05

    1. 查阅电信诈骗洗钱流程的相关博文
    2. 绘制电信诈骗在银行领域的洗钱流程图

    2022-12-06

    1. 撰写专利的权利要求书的权利要求1部分

    2022-12-07

    1. 撰写专利的权利要求书的权利要求2部分

    2022-12-08

    1. 撰写专利的权利要求书的权利要求3和4部分

    2022-12-09

    1. 撰写专利的权利要求书的权利要求5和6部分

    2022-12-12

    1. 配合进行tuGraph的性能测试:match (p:Person) with p limit 3 match (p)-[:ACTED_IN]->(m:Movie) return p,m

    2022-12-13

    1. 撰写专利的说明书的背景技术部分
    2. 撰写专利的说明书的发明内容部分

    2022-12-14

    1. 撰写专利说明书的具体实施方式部分

    2022-12-15

    1. 完成专利说明书的文字部分

    2022-12-16

    1. 绘制专利说明书的说明书附图
    2. 筛选中数工商数据的数据库表

    2022-12-19

    1. 绘制双视角异构时态图神经网络模型的架构图

    2022-12-20

    1. 查看廖雪峰的git教程

    2022-12-21

    1. 分析战略客户数字化管理平台的业务需求书

    2022-12-22

    1. 梳理工商数据的10个数据库表结构

    2022-12-23

    1. 完成《一种用于诈骗预警的双视角异构时态图神经网络方法与装置》的专利全篇撰写

    2023-01-03

    1. 零:即道。道可道,非恒道。没有意义,无须解释。
      一:太一。道生一。初始整体。
      二:乾坤阴阳。相生相克。
      三:天地人三才。人即意识,天地因意识而存在。
      四:四象。老阴老阳,少阴少阳。
      五:五行。金木水火土。春属木,绿色酸味,号发陈,万物滋生;夏属火,赤色苦味,号炎上,万物强盛;秋属金,白色辛味,号从革,盛极而衰;冬属水,黑色咸味,号闭藏,潜入隐秘;阕夏属土,黄色甘味,万物根本。宫商角徴羽,土金木火水。
      六:六合。木属东方,青龙镇守;火属南方,朱雀镇守;金属西方,白虎镇守;水属北方,玄武镇守;人独立于中央,属土。四方之外,人能查辨上下。即为东南西北上下四方六合。
      七:北斗七星。天枢贪狼,天权文曲,天璇巨门,天玑禄存,瑶光破军,开阳武曲,玉衡廉贞。
      八:先天八卦。乾坤,坎离,震艮,巽兑。
      九:九宫。乾坎艮震巽离坤兑中宫。
      十:天干。甲乙丙丁,戊己庚辛,壬癸。圆满不吉。
      十二:地支。子丑寅卯,辰巳午未,申酉戌亥。
    2. 回顾项目代码,熟悉项目结构

    2023-01-04

    1. 编写选择排序,冒泡排序,二分查找功能函数

    2023-01-05

    1. 梳理创建工商数据的知识图谱schema

    2023-01-06

    1. 梳理创建工商数据知识图谱schema中的投资关系、子母公司关系

    2023-01-09

    1. 梳理创建工商数据知识图谱schema中的公司法人对外持股关系、公司管理人员对外持股关系

    2023-01-10

    1. 梳理创建工商数据知识图谱schema中的公司最终控股自然人对外持股关系,公司最终控股自然人担任法人企业关系,公司及投资者共同控制的企业关系,公司对外担保关系
    2. 梳理创建工商数据知识图谱schema中纳税人违法事件信息、企业基本信息、企业舆情信息,企业主要人员信息

    2023-01-11

    1. 完成了第一版工商数据知识图谱的schema设计

    2023-01-12

    1. 排查老知识图谱项目的母公司查询接口问题

    2023-01-13

    1. prompt tuning即提示微调是针对具体任务,生成不同的提示模版,然后在全样本上进行微调评估,期间预训练模型的参数是不需要参与训练的;instruct tuning即指令微调是针对不同的任务,生成不同的指令,通过在若干个全样本任务上进行微调,然后再零样本任务上评估泛化能力,其中预训练模型参数是参与训练的。提示微调是激发模型的补全能力,指令微调是激发模型的理解能力。

    2023-01-16

    1. 阅读快速排序算法的思路

    2023-01-17

    1. 编写快速排序算法的程序代码

    相关文章

      网友评论

          本文标题:工作日常2

          本文链接:https://www.haomeiwen.com/subject/upaeirtx.html